apache-spark - 未找到 Spark 驱动器

标签 apache-spark jtds

我正在尝试使用 Spark 将数据帧写入 sqlserver。我正在使用 dataframewriter 的 write 方法写入 SQL Server。 使用 DriverManager.getConnection 我能够获得 sqlserver 的连接并能够写入,但是当使用 jdbc 方法并传递 uri 时,我得到“找不到合适的驱动程序”。 我已经在spark-shell的--jars中传递了jtds jar。 Spark 版本:1.4

最佳答案

问题是 Spark 找不到驱动程序 jar 文件。因此,下载jar并将其放置在spark集群的所有worker节点的同一路径上,并将该路径添加到spark-env.sh文件中的SPARK_CLASSPATH中 如下

SPARK_CLASSPATH=/home/mysql-connector-java-5.1.6.jar

希望对你有帮助

关于apache-spark - 未找到 Spark 驱动器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31381975/

相关文章:

scala - 是否可以访问 spark.ml 管道中的估算器属性?

java.lang.ClassNotFoundException : net. sourceforge.jtds.jdbc.Driver 问题

java - Spring boot服务API启动时出现异常(值为 'ServletContext resource [/dbo]'的属性spring.datasource.schema无效)

java - 错误连接为空

sql-server - JTDS 驱动程序不适用于 Sql Server 2008R2,且 Denali Native SSPI 库未加载。检查 java.library.path 系统属性

apache-spark - 加载 Hive 表时 Spark 创建了多少个分区

apache-spark - PySpark LinearRegressionWithSGD,模型预测维度不匹配

java - Spark : Technical terminology for reduce elements on the run-time?

apache-spark - pyspark - 合并 2 列集合

java - getdate() 通过结果集查询抛出无当前行异常