scala - 从终端在 Spark scala 中添加外部库

标签 scala hadoop apache-spark cloudera-cdh

我正在尝试为 spark 添加外部库,因为我已尝试将这些库放在 /usr/lib/spark/lib 中。当我成功添加库后 运行我的代码时出现错误:未找到。 我不知道还有什么地方可以放置 jar 文件,我使用的是 CDH 5.7.0

最佳答案

我在深入挖掘后找到了解决方案,我通过在从终端打开 spark shell 的同时添加 jar 解决了这个问题。

我使用了下面的代码:

spark-shell --jars "dddd-xxx-2.2.jar,xxx-examples-2.2.jar"

关于scala - 从终端在 Spark scala 中添加外部库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39121308/

相关文章:

scala - Play 2.5 中 jodaDate 映射的可接受格式

java - 如何在关闭它并将其写入磁盘之前获取 ParquetWriter 对象的内存大小?

hadoop - 带有按时间戳分区的配置单元表的 sqoop 导出问题

join - Hive Join 返回零记录

apache-spark - 为什么spark在sql查询的末尾追加 'WHERE 1=0'

apache-spark - DataFrame对象没有属性 'col'

hadoop - Spark 1.2 : Write single record into multiple files (blacklisted)

scala - 不推荐使用基于 Ant 的 Scala 编译器

scala - `= _` 在 Scala 属性定义中做什么

scala - 在映射中使用 Enumeratum 枚举不起作用