hadoop - 当tez.lib.uris == tez.tar.gz时,TEZ不起作用

标签 hadoop hdfs yarn ambari apache-tez

我通过Ambari 2.6.1安装了Tez 0.9.1。 tez.tar.gz已成功应用于hdfs。但是在检查服务时-我收到错误消息。通过yarn logs -applicationId APP_ID进入日志,我发现了Error: Could not find or load main class org.apache.tez.dag.app.DAGAppMaster。尽管DAG jar位于tar.gz中。 tez.lib.uris == $ {fs.default.name} / hdp / apps / $ {hdp.version} /tez/tez.tar.gz。如果我将其解压缩到hdfs中并进行更改:tez.lib.uris==${fs.default.name}/hdp/apps/${hdp.version}/tez,${fs.default.name}/hdp/apps/${hdp.version}/tez/lib一切正常,则服务检查正常。
尝试过:手动设置tar.gz的大小,将chmod 777设置为它,设置各种tez.lib.uris.classpath值-无效。

感谢任何帮助!
提前致谢

最佳答案

找到了解决方案。
需要使用以下命令扩展yarn-site.xml中的yarn.application.classpath:/usr/hdp/current/tez-client/*,/usr/hdp/current/tez-client/lib/*在我的情况下最终值是:

{{hadoop_home}}/conf,{{hadoop_home}}/*,{{hadoop_home}}/lib/*,/usr/hdp/current/hadoop-hdfs-client/*,/usr/hdp/current/hadoop-hdfs-client/lib/*,/usr/hdp/current/hadoop-yarn-client/*,/usr/hdp/current/hadoop-yarn-client/lib/*,/usr/hdp/current/ext/hadoop/*,/usr/hdp/current/tez-client/*,/usr/hdp/current/tez-client/lib/*

关于hadoop - 当tez.lib.uris == tez.tar.gz时,TEZ不起作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59666616/

相关文章:

apache - 带有YARN的HBase引发错误

hadoop - 启动节点管理器时出错

java - Hadoop 1.2.1 的源附件

hadoop - 让Cygnus使用WebHDFS写入本地HDFS

java - 为什么我无法使用Apache Spark与Hive Metastore连接?

hadoop - Hive - Hive 如何在内部执行多个 BIG 表连接查询(在 MapReduce 中)以及如何对其进行优化?

java - “hadoop dfs -cat output”不返回任何内容

hadoop - HBase 独立性能与在 HDFS 集群上运行的对比

hadoop - 名称节点恢复,名称节点恢复如何工作?

java - Namenode抛出EPERM:启动时不允许进行操作