java - Oozie-将jar文件复制到Cloudera上的lib文件夹时被截断

标签 java hadoop cloudera oozie

我创建了一个Java操作,并使用Cloudera的Hue进行了部署。我注意到该jar文件已复制到工作区的/ lib文件夹中,但被截断为精确的64MB(发生在来自其他hdfs文件夹的jar文件和使用sharelib的两种情况下)。

我按了https://community.cloudera.com/t5/Batch-Processing-and-Workflow/Oozie-Java-Action-ClassNotFoundException/td-p/4761的链接,但是将jar复制到工作区/ lib文件夹后,工作流因服务器错误(500)而失败。

/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/build/env/lib/python2.6/site-packages/Django-1.4.5-py2.6.egg/django/core/handlers/base.py  111     get_response
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/apps/oozie/src/oozie/decorators.py     52  decorate
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/apps/oozie/src/oozie/views/editor.py   335     submit_workflow
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/apps/oozie/src/oozie/views/editor.py   356     _submit_workflow
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/desktop/libs/liboozie/src/liboozie/submittion.py   79  run
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/desktop/libs/liboozie/src/liboozie/submittion.py   144     deploy
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/desktop/libs/liboozie/src/liboozie/submittion.py   281     _do_as
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/desktop/libs/liboozie/src/liboozie/submittion.py   275     _copy_files
/opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hue/desktop/libs/hadoop/src/hadoop/fs/webhdfs.py   480     copyfile

我没有找到与最大文件大小有关的oozie配置,并且不确定是否与Hadoop配置有关。你见过这个案子吗?非常感谢你。

最佳答案

不太确定,但是它可能已经在hue issue的链接中报告过

关于java - Oozie-将jar文件复制到Cloudera上的lib文件夹时被截断,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34462300/

相关文章:

java - 如何链接两个不同类的对象?

hadoop - 完全取消默认输出目录 - MapReduce

mysql - jooq 扩展现有方言。采用MySQL方言到apache Hive方言

java - 如何从 Jetty AbstractHandler handle() 方法检索 POST 数据?

java - 如何在 Linux 中启动时自动启动基于 Gradle 的 Java 应用程序/守护进程?

hadoop - 如何加入并在PIG中寻找值(value)?

hadoop - 如何使用配置单元获取表a中不在表b中的所有元素?

hadoop - reducer 输出的每个键的值列表的排序

hadoop - 无法连接到 oozie 服务器(错误代码 : 500)

java - 如何结合异常来摆脱重复代码?