运行 Spark 时 python 脚本卡在输入法上

Question

我正在 Spark 中通过 python 运行一个简单的脚本 当我使用输入法时，运行脚本卡在该行 这是代码:

from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf = conf)

testFileName = input("enter file name: ");
print("okey I'll open " + testFileName)
# load an RDD from a test file
fileRDD = sc.textFile(testFileName)

Answer 1

当您使用 spark-submit 提交应用程序时，您不会与 Python 代码交互，而是与 Java 代码交互，Java 代码不需要来自标准输入的任何输入。

如果你想让它工作，你必须跳过 spark-submit 并直接将其作为 Python 脚本执行。