我正在尝试使用 Spark 将数据帧写入 sqlserver。我正在使用 dataframewriter 的 write 方法写入 SQL Server。 使用 DriverManager.getConnection 我能够获得 sqlserver 的连接并能够写入,但是当使用 jdbc 方法并传递 uri 时,我得到“找不到合适的驱动程序”。 我已经在spark-shell的--jars中传递了jtds jar。 Spark 版本:1.4
最佳答案
问题是 Spark 找不到驱动程序 jar 文件。因此,下载jar并将其放置在spark集群的所有worker节点的同一路径上,并将该路径添加到spark-env.sh文件中的SPARK_CLASSPATH中 如下
SPARK_CLASSPATH=/home/mysql-connector-java-5.1.6.jar
希望对你有帮助
关于apache-spark - 未找到 Spark 驱动器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31381975/