jvm - Python 如何与 Spark 中的 JVM 交互

原文 标签 jvm apache-spark pyspark

我正在编写 Python 代码来开发一些 Spark 应用程序。我真的很好奇 Python 如何与运行中的 JVM 交互并开始阅读 Spark 的源代码。

我可以看到,最终,所有 Spark 转换/操作都以以下方式调用了某些 jvm 方法。

self._jvm.java.util.ArrayList(),
self._jvm.PythonAccumulatorParam(host, port))
self._jvm.org.apache.spark.util.Utils.getLocalDir(self._jsc.sc().conf())
self._jvm.org.apache.spark.util.Utils.createTempDir(local_dir, "pyspark") \
            .getAbsolutePath()
...

作为一名 Python 程序员,我真的很好奇这个 _jvm 是怎么回事目的。但是,我已经简要阅读了 pyspark 下的所有源代码只找到 _jvm成为 Context 的属性课,除此之外,我什么都不知道_jvm's属性和方法。

谁能帮我理解 pyspark 如何转化为 JVM 操作?我应该阅读一些 scala 代码,看看是否 _jvm在那里定义?

最佳答案

它使用 py4j .有一个特殊的协议(protocol)可以将 python 调用转换为 JVM 调用。所有这些都可以在 Pyspark 代码中找到,请参阅 java_gateway.py

关于jvm - Python 如何与 Spark 中的 JVM 交互,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29788286/

相关文章:

java - 为什么我的 for 循环执行时间没有改变?

apache-spark - 使用自定义内核数和内存大小运行 Spark 应用程序

python - 展平PySpark中嵌套词典的列表

java - 运行时应用程序自我保护 (RASP)

Java 1.7/1.8 JIT 编译器坏了?

java - spark reduceByKey() 不为最终总和改组

java - 无法从连接到 EC2 上的 Cassandra 的 EMR 运行 spark 作业

python - 如何计算pyspark中的日期差异?

java - Akka Java线程阻塞了多个JVM

java - 如何将模型从 ML Pipeline 保存到 S3 或 HDFS?