我是 Apache Flume 的新手,我有一个用例,其中有一个输入文件“sample.txt”,该文件会定期更新,并且最初包含以下数据
Name Age Sex Address
xxx 20 M Chennai
有时会更新为
Name Age Sex Address
YYY 25 F Salem
ZZZ 18 M Covai
每当输入文件发生更改时,我希望使用 Apache Flume 将此文件写入 HDFS。任何人都可以建议我链接,或者任何人都可以告诉我如何实现这一目标
最佳答案
您可以将 Flume tail 视为来源。我指向一些网址。请引用它们。
http://www.rittmanmead.com/2014/05/trickle-feeding-webserver-log-files-to-hdfs-using-apache-flume/
http://www.ibm.com/developerworks/library/bd-flumews/
http://mapredit.blogspot.in/2012/03/flumeng-evolution.html
https://flume.apache.org/FlumeUserGuide.html
http://stackoverflow.com/questions/13721930/flume-ng-tail-a-file
关于hadoop - 如果输入文件有任何更改,Flume 将日志写入 hdfs,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29509623/