我正在尝试使用 PySpark 导入外部 jar 中的类,我正在运行带有 --jars 的 spark-shell 以及包含我想要使用的类的 jar 的路径。
但是,当我在代码中导入一个类时,找不到命名空间:
from io.warp10.spark import WarpScriptFilterFunction
错误:
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
Traceback (most recent call last):
File "warp10-test.py", line 1, in <module>
from io.warp10.spark import WarpScriptFilterFunction
ImportError: No module named warp10.spark
最佳答案
如果您想运行 warpscript,您必须使用 WarpScript™ UDF在 Spark 上。
下面是一个例子:
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark.sql.types import StringType
from pyspark.sql.types import ArrayType
spark = SparkSession.builder.appName("WarpScript Spark Test").getOrCreate()
sc = spark.sparkContext
sqlContext = SQLContext(sc)
sqlContext.registerJavaFunction("foo", "io.warp10.spark.WarpScriptUDF3", ArrayType(StringType()))
print sqlContext.sql("SELECT foo('SNAPSHOT \"Easy!\"', 3.14, 'pi')").collect()
有关更多信息,请参阅:https://www.warp10.io/content/05_Ecosystem/04_Data_Science/06_Spark/02_WarpScript_PySpark
关于jar - pyspark:找不到 jar 文件中的命名空间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56475608/