我正在使用hadoop jar-tasklet:
<hdp:jar-tasklet id="testjob" jar="bhs_abhishek.jar">
</hdp:jar-tasklet>
这个jar目前需要在classpath上配置一些配置文件,我早先是通过
HADAOOP_CLASSPATH
变量设置的,以便通过hadoop jar命令调用。但是我找不到使用spring HADOOP_CLASSPATH
设置xml
的方法。请提供有关如何实现此目标的更好建议。我可以在jar中进行更改。
最佳答案
您可以尝试将配置文件添加到xd / config目录中,该目录应该在类路径上。
还有一个xd / config / hadoop-site.xml文件,您可以在其中添加Hadoop配置属性。另一种选择是修改xd / config / servers.yml并在spring:hadoop:config:
下添加Hadoop配置属性,就像在本示例中对io.file.buffer.size
所做的那样:
---
# Hadoop properties
spring:
hadoop:
fsUri: hdfs://hadoop.example.com:8020
resourceManagerHost: hadoop.example.com
resourceManagerPort: 8032
jobHistoryAddress: hadoop.example.com:10020
config:
io.file.buffer.size: 4096
---
关于spring - 使用Spring jar-tasklet时设置HADOOP_CLASSPATH,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32741585/