hadoop - 如何以破坏Flume中的目录路径的方式访问远程主机中的文件夹

Question

这是我的FlumeHadoop.conf文件。

a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = spooldir
a1.sources.r1.channels = c1
a1.sources.r1.spoolDir = /home/rabindra/idirectory 
a1.sources.r1.basenameHeader=true

# Use a channel which buffers events in memory
a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 1000
a1.channels.c1.byteCapacityBufferPercentage = 20
a1.channels.c1.byteCapacity = 131072000

a1.sinks.k1.channel = c1


# properties of k1-sink
a1.sinks.k1.type = hdfs
#a1.sinks.k1.hdfs.path = hdfs://namenode/flumesource/source1
a1.sinks.k1.hdfs.path = hdfs://localhost/logdata
a1.sinks.k1.hdfs.filePrefix=%{basename}
a1.sinks.k1.hdfs.fileSuffix=.txt
a1.sinks.k1.rollInterval=0
a1.sinks.k1.hdfs.deletePolicy=immediate
a1.sinks.k1.hdfs.rollSize=131072000
a1.sinks.k1.hdfs.rollCount=0
a1.sinks.k1.hdfs.idleTimeout=0
a1.sinks.k1.hdfs.maxOpenFiles = 10000

在远程主机中说192.168.7.43，其中有一个目录 r目录和目录路径 / home / alex / rdirectory 。

我想将远程文件夹 rdirectory 指向破坏目录。
怎么可能？
我通过这种变化尝试

a1.sources.r1.spoolDir = alex@192.168.7.43:/home/alex/rdirectory   

但这给出了java.lang.IllegalStateException异常:目录不存在:/opt/flume/alex@192.168.7.43:/home/alex/rdirectory。

Answer 1

您是否尝试运行此选项

在192.168.7.4中运行水槽代理
假脱机目录[源代码]-> netcat [接收器]

在本地计算机上运行水槽代理
netcat [源代码]-> HDFS接收器