python - 无法导入 pyspark 统计模块

标签 python pyspark

Python 2.7、Apache Spark 2.1.0、Ubuntu 14.04
在 pyspark 外壳中,我收到以下错误:

>>> from pyspark.mllib.stat 导入统计
回溯(最近一次通话最后):
文件“”,第 1 行,在
ImportError:没有名为 stat 的模块

解决方案 ?

相似地

>>> 从 pyspark.mllib.linalg 导入 SparseVector
回溯(最近一次通话最后):
文件“”,第 1 行,在
ImportError:没有名为 linalg 的模块

我已经安装了 numpy 并且

>>> 系统路径
['', u'/tmp/spark-2d5ea25c-e2e7-490a-b5be-815e320cdee0/userFiles-2f177853-e261-46f9-97e5-01ac8b7c4987', '/usr/local/lib/python2.7/dist-packages/setuptools-18.1-py2.7.egg', '/usr/local/lib/python2.7/dist-packages/pyspark-2.1.0+hadoop2.7-py2.7.egg', '/usr/local/lib/python2.7/dist-packages/py4j-0.10.4-py2.7.egg', '/home/d066537/spark/spark-2.1.0-bin-hadoop2.7/python/lib/py4j-0.10 .4-src.zip', '/home/d066537/spark/spark-2.1.0-bin-hadoop2.7/python', '/home/d066537', '/usr/lib/python2.7', '/usr/lib/python2.7/plat-x86_64-linux-gnu', '/usr/lib/python2.7/lib-tk', '/usr/lib/python2.7/lib-old', '/usr/lib/python2.7/lib-dynload','/usr/local/lib/python2.7/dist-packages','/usr/lib/python2.7/dist-packages','/usr/lib/python2.7/dist-packages/PILcompat', '/usr/lib/python2.7/dist-packages/gst-0.10', '/usr/lib/python2.7/dist-packages/gtk-2.0', '/usr/lib/python2.7/dist-packages/ubuntu-sso-client']

最佳答案

删除 pyspark 安装。

sudo -H pip uninstall pyspark

关于python - 无法导入 pyspark 统计模块,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42253981/

相关文章:

python 3 : Adding function to a already created object

python - 如何在正则表达式语句中获得中间值?

python - pyspark : Convert DataFrame to RDD[string]

python-3.x - pyspark写入wasb blob存储容器

jdbc - spark.driver.extraClassPath多个 jar

python - 如何修复此错误 : "SQLContext object has no no attribute ' jsonFile'

python - 为什么我的神经网络成本不断增加?

python - H5PY键读取速度慢

python - Spark 中的潜在狄利克雷分配 (LDA)

python - 当从 FastAPI 发送时流主体为满,当由请求接收时流主体为空