运行时 spark-shell
它创建了一个文件 derby.log
和一个文件夹 metastore_db
.如何配置 spark 以将它们放在其他地方?
对于 Derby 日志,我试过 Getting rid of derby.log像这样spark-shell --driver-memory 10g --conf "-spark.driver.extraJavaOptions=Dderby.stream.info.file=/dev/null"
有几个不同的属性,但 spark 忽略了它们。
有谁知道如何摆脱这些或为它们指定默认目录?
最佳答案
hive.metastore.warehouse.dir
的使用自 Spark 2.0.0 起已弃用,
see the docs .
正如 this answer 所暗示的那样,真正的罪魁祸首是 metastore_db
目录和 derby.log
在每个工作子目录中创建的文件是 derby.system.home
属性默认为 .
.
因此,可以通过将以下行添加到 spark-defaults.conf
来指定两者的默认位置。 :
spark.driver.extraJavaOptions -Dderby.system.home=/tmp/derby
哪里
/tmp/derby
可以替换为您选择的目录。
关于apache-spark - 如何从 Spark Shell 中删除 derby.log、metastore_db,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38377188/