apache-spark - 如何从 Spark Shell 中删除 derby.log、metastore_db

Question

运行时 spark-shell它创建了一个文件 derby.log和一个文件夹 metastore_db .如何配置 spark 以将它们放在其他地方？

对于 Derby 日志，我试过 Getting rid of derby.log像这样spark-shell --driver-memory 10g --conf "-spark.driver.extraJavaOptions=Dderby.stream.info.file=/dev/null"有几个不同的属性，但 spark 忽略了它们。

有谁知道如何摆脱这些或为它们指定默认目录？

Answer 1

hive.metastore.warehouse.dir的使用自 Spark 2.0.0 起已弃用，
see the docs .

正如 this answer 所暗示的那样，真正的罪魁祸首是 metastore_db目录和 derby.log在每个工作子目录中创建的文件是 derby.system.home属性默认为 . .

因此，可以通过将以下行添加到 spark-defaults.conf 来指定两者的默认位置。 :

spark.driver.extraJavaOptions -Dderby.system.home=/tmp/derby

哪里/tmp/derby可以替换为您选择的目录。