我已经通过 conda install pyspark
在 Ubuntu 的 miniconda 环境中安装了 pyspark。到目前为止一切正常:我可以通过 spark-submit
运行作业,并且可以在 localhost:4040
检查正在运行的作业。但是我找不到 start-history-server.sh
,我需要查看已完成的作业。
应该在{spark}/sbin
,其中{spark}
是spark的安装目录。当通过 conda 安装 spark 时,我不确定它应该在哪里,但我已经搜索了整个 miniconda 目录,但我似乎无法找到 start-history-server.sh
。对于它的值(value),这适用于 python 3.7 和 2.7 环境。
我的问题是:start-history-server.sh
是否包含在 pyspark 的 conda 安装中?
如果是,在哪里?如果否,建议的事后评估 Spark 作业的替代方法是什么?
最佳答案
编辑:我已提交拉取请求以将历史服务器脚本添加到 pyspark。拉取请求已合并,因此这应该会暂时显示在 Spark 3.0 中。
正如@pedvaljim 在评论中指出的那样,这不是特定于 conda 的,目录 sbin
根本不包含在 pyspark 中。
好消息是可以手动下载这个文件夹from github (即不确定如何只下载一个目录,我只是克隆了所有的 spark)到你的 spark 文件夹中。如果您使用的是 mini- 或 anaconda,则 spark 文件夹是例如miniconda3/envs/{name_of_environment}/lib/python3.7/site-packages/pyspark
。
关于apache-spark - 通过 conda 安装 pyspark 时没有 start-history-server.sh,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54419102/