python - Apache pyspark 使用 oracle jdbc 拉取数据。找不到驱动程序

Question

我在 Windows 7 上使用 apache spark pyspark (spark-1.5.2-bin-hadoop2.6)。

当我在 pyspark 中运行我的 python 脚本时，我不断收到这个错误。

调用 o23.load 时出错。 java.sql.SQLException:找不到适合 jdbc:oracle:thin 的驱动程序:-------------------------------- ---连接

这是我的python文件

import os

os.environ["SPARK_HOME"] = "C:\\spark-1.5.2-bin-hadoop2.6"
os.environ["SPARK_CLASSPATH"] = "L:\\Pyspark_Snow\\ojdbc6.jar"

from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext

spark_config = SparkConf().setMaster("local[8]")  
sc = SparkContext(conf=spark_config) 
sqlContext = SQLContext(sc)

df = (sqlContext
    .load(source="jdbc",
          url="jdbc:oracle:thin://x.x.x.x/xdb?user=xxxxx&password=xxxx",
          dbtable="x.users")
 )
sc.stop()

Answer 1

不幸的是，更改环境变量 SPARK_CLASSPATH 将不起作用。你需要声明

spark.driver.extraClassPath L:\\Pyspark_Snow\\ojdbc6.jar

在你的/path/to/spark/conf/spark-defaults.conf 或简单地执行带有额外参数的spark-submit 作业--jars:

spark-submit --jars "L:\\Pyspark_Snow\\ojdbc6.jar" yourscript.py