spring - 使用Spring jar-tasklet时设置HADOOP_CLASSPATH

标签 spring hadoop spring-xd

我正在使用hadoop jar-tasklet:

<hdp:jar-tasklet id="testjob" jar="bhs_abhishek.jar">
</hdp:jar-tasklet>

这个jar目前需要在classpath上配置一些配置文件,我早先是通过HADAOOP_CLASSPATH变量设置的,以便通过hadoop jar命令调用。但是我找不到使用spring HADOOP_CLASSPATH设置xml的方法。请提供有关如何实现此目标的更好建议。我可以在jar中进行更改。

最佳答案

您可以尝试将配置文件添加到xd / config目录中,该目录应该在类路径上。

还有一个xd / config / hadoop-site.xml文件,您可以在其中添加Hadoop配置属性。另一种选择是修改xd / config / servers.yml并在spring:hadoop:config:下添加Hadoop配置属性,就像在本示例中对io.file.buffer.size所做的那样:

---
# Hadoop properties
spring:
  hadoop:
    fsUri: hdfs://hadoop.example.com:8020
    resourceManagerHost: hadoop.example.com
    resourceManagerPort: 8032
    jobHistoryAddress: hadoop.example.com:10020
    config:
      io.file.buffer.size: 4096

---

关于spring - 使用Spring jar-tasklet时设置HADOOP_CLASSPATH,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32741585/

相关文章:

javascript - 使用 Ajax 发送表单 - Spring MVC

java - Apache Pig,程序运行问题

mysql - 对非常大的 INNER JOIN SQL 查询进行分区

java - Spring Boot 访问 MongoDB - 从 REST API 端点更新多个记录/文档

java - Spring @ConfigurationProperties 多个属性返回空

java - Spring文件上传 - 得到预期的MultipartHttpServletRequest : is a MultipartResolver configured?错误

java - 反汇编 Java 代码

java - MapReduce 程序中的洗牌步骤是否与映射并行运行?

apache-storm - "Spring xd"与 Storm

hadoop - spring xd 必需的模块工件丢失或无效