我有一个简单的 spark streaming 作业，它跟踪 HDFS 目录，读取新添加的文件，并将其发送到 Kafka。
提交 spark 作业时它不起作用并抛出以下异常。
ImportError: cannot import name KafkaProducer
这是作业的代码 ( http://pastebin.com/mpKkMkph )
错误很明显。该脚本无法导入 kafkaProducer。问题是我可以毫无问题地从 python shell 导入它。
最佳答案
最后我可以解决问题，但解决方案很奇怪，我无法解释发生了什么。
我运行此命令 cat my_script.py > new_script.py 然后我使用新文件提交作业。
一切正常，但正如我上面提到的，我无法解释这个问题。
这里要注意的另一件事是，使用普通的 cp 命令复制文件也不起作用。仅将内容 cat 到另一个文件。
这是我第二次遇到 python 脚本的这个问题，我希望任何人都可以对此进行说明。
关于python - 无法在 Spark Streaming 作业中导入 kafkaProducer，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36965253/