hadoop - Jython 在 Pig 的 UDF 上下文中的局限性

标签 hadoop apache-pig jython user-defined-functions

如果有人能在 Pig 中的 UDF 上下文中解释 Jython 的局限性,那就太好了。以下是关键问题:

  • 能否在 Hadoop 1.x 和 YARN 中运行?
  • 它支持 Python 3.4 吗?来自 python UDF version with Jython/Pig ,我想这不太可能,但该职位已有一年多了。
  • 在支持的模块方面是否有任何限制?

基本上我是想看看使用 Jython 是否有意义(最好是在 Python 3 中)

谢谢!

最佳答案

Here是来自常见问题解答的链接。我无法回答有关 Hadoop 或 yarn 的问题。

Jython不支持Python 3,最新版本支持python 2.7.0。

python的很多科学模块都是用C或者Cython写的。例如,SciPy 使用 fortran 项目 BLAS 进行线性代数。编写的 C 代码构成了 Python 和 BLAS 之间的桥梁。 Java 字节码与 native 二进制文件不兼容。

有一个 JyNI 项目。位于here .它试图弥合差距。我不知道它有多成熟。

根据 jython 的网页,他们正试图使 jython 与 python 扩展 api 兼容。截至目前,还没有正式发布,我认为它仍处于 alpha 阶段。

从 Java 8 开始,Java 没有办法将 native 代码集成到 Java 程序中。我认为他们正在做一些骇人听闻的事情来让它工作。

关于hadoop - Jython 在 Pig 的 UDF 上下文中的局限性,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27669641/

相关文章:

python - 使用关键字和 jython 2.5.1

java - 将java对象传递给python

hadoop - 在 HDFS 中创建 zip 表

java - 使用快速数据顺序错误进行mapreduce

apache-spark - hadoop:HDFS以哪种格式存储数据

hadoop - 输出位置验证失败...映射器在输出文件夹中创建 _temporary 目录

java - 是否有一种无需缓存即可工作的 Java 脚本语言?吉通?时髦? ETC?

scala - SBT 范围可以用于特定代码块的自定义 libraryDependencies 吗?

hadoop - Apache PIG-如何显示脚本的执行时间?

hadoop - Pig Latin 中的 Apache Pig 查询所用的 Cpu 时间