hadoop - 实现预期输出所需的 talend 组件

标签 hadoop hdfs bigdata talend

我在以下给定目录中有几个输入文件:

Input Files:
/tmp (Folder)    
data01_data.txt    
data01_data01.txt    
data02_data.txt    
data02_data01.txt    
data03_data.txt    
data03_data01.txt    
data04_data.txt    
data04_data01.txt    
/ABC (Folder)    
CPU_data.txt    
memory_data.txt    

Folder name 
data01    
data02    
data03    
data04    
CPU 

内存

现在我想在名称开头与文件名相同的文件夹中插入文件。
eg:
data01_data.txt        
data01_data01.txt 

所以上面的文件需要移动到data01文件夹。我无法弄清楚组件和它需要使用的方式。
我是 talend 的新手,所以无法理解要实现目标需要哪个组件。

最佳答案

您可以使用几个组件来做到这一点:

  • tFileList 列出存储库中的文件(此处为/tmp)
  • 然后您必须使用 java 代码 (tJava) 提取文件名的第一部分数据01 _data.txt 并将结果放入全局变量中,例如
  • 然后是 tFileCopy,将文件复制到存储在全局变量
  • 中的存储库名称中

    我希望它会帮助你!

    关于hadoop - 实现预期输出所需的 talend 组件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53913040/

    相关文章:

    hadoop - HDFS - block 大小相关

    java - Hadoop 框架中使用的属性的完整列表

    hadoop - 为什么在此Hadoop 1.2.1安装中无法启动NameNode?

    hadoop - 如何自己将复制不足的 block 恢复到复制因子?

    hadoop - Hive 中分析查询的限制

    java - Hadoop:所有数据节点 127.0.0.1:50010 都是坏的。中止

    hadoop - 在 Hortonworks 中安装服务的正确方法是什么?

    hadoop - Airflow :如何重新运行依赖的DAG

    java - Pig ERROR 2998 : Unhandled internal error. Static(错误名称:com/company/Static)

    hadoop - 错误 terasort.TeraSort : Input path does not exist: maprfs:/user/user01/–DXmx1024m