我正在编写 Python 代码来开发一些 Spark 应用程序。我真的很好奇 Python 如何与运行中的 JVM 交互并开始阅读 Spark 的源代码。
我可以看到,最终,所有 Spark 转换/操作都以以下方式调用了某些 jvm 方法。
self._jvm.java.util.ArrayList(),
self._jvm.PythonAccumulatorParam(host, port))
self._jvm.org.apache.spark.util.Utils.getLocalDir(self._jsc.sc().conf())
self._jvm.org.apache.spark.util.Utils.createTempDir(local_dir, "pyspark") \
.getAbsolutePath()
...
作为一名 Python 程序员,我真的很好奇这个
_jvm
是怎么回事目的。但是,我已经简要阅读了 pyspark 下的所有源代码只找到 _jvm
成为 Context 的属性课,除此之外,我什么都不知道_jvm's
属性和方法。谁能帮我理解 pyspark 如何转化为 JVM 操作?我应该阅读一些 scala 代码,看看是否
_jvm
在那里定义?
最佳答案
它使用 py4j .有一个特殊的协议(protocol)可以将 python 调用转换为 JVM 调用。所有这些都可以在 Pyspark 代码中找到,请参阅 java_gateway.py
关于jvm - Python 如何与 Spark 中的 JVM 交互,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29788286/