java - Spark 1.4.0 计算类路径.sh

标签 java apache-spark

我已经下载了最新的spark 1.4.0版本并开始使用了。 但是我在 bin/中找不到 compute-classpath.sh 文件,我在以前的版本中使用它来为我的应用程序提供第三方库。

任何人都可以告诉我在哪里可以为 1.4.0 中的第三方库提供 CLASSPATH 吗?

谢谢 洛克什

最佳答案

我认为您可以使用:spark.driver.extraClassPath 属性,该属性可以在/conf 文件夹中的 spark-defaults.conf 文件中设置,或者将其设置为 SparkConf 类。更多信息在这里:https://spark.apache.org/docs/latest/configuration.html 在 spark.driver.extraClassPath 之后搜索

关于java - Spark 1.4.0 计算类路径.sh,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31436292/

相关文章:

java - 在通话期间运行 SpeechRecognizer

java - Android SimpleDateFormat问题

java - 工厂类

hadoop - Spark setAppName 未出现在 Hadoop 运行应用程序 UI 中

apache-spark - Pyspark:pyarrow.lib.ArrowTypeError:需要一个整数(获得时间戳类型)

Scala MapType 和 Tuple 作为 KeyValue

java - 我可以在 java 中自定义 servlet URL 吗?

java - 显示标签排序问题

pio 训练阶段的 java.lang.StackOverflowError

apache-spark - Hive on Spark CDH5.7 执行错误