hadoop - 如何使用Apache FLUME将数据写入HA Hadoop QJM?

标签 hadoop hdfs flume high-availability

flume 如何识别活跃的 namenode 以便将数据写入 HDFS?如果没有高可用性 Hadoop,我们将在 Flume.conf 中配置 namenode ip,以便将数据轻松定向到 HDFS。而在我们的例子中,Flume 应该识别事件名称节点和备用名称节点,从而将数据定向到事件名称节点。

最佳答案

据我所知,这是不可能的直接方式。 HDFS sink配置只能容纳一个Namenode。

尽管如此,我认为您可以配置两个 HDFS 接收器(和两个 channel ),每个接收器都指向一个 Namenode。由于默认 Replicating Channel Selector,源将在两个 channel 中放置每个事件的副本。因此,每个接收器都会尝试自己保存数据;指向备用Namenode的Namenode将不会保留任何内容,直到事件名称节点崩溃并且备用名称节点变为事件状态为止。

呵呵!

关于hadoop - 如何使用Apache FLUME将数据写入HA Hadoop QJM?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30178368/

相关文章:

hadoop - 在 Oozie 中循环

hadoop - 从 Windows 将文件传入和传出 HDFS

hadoop - HDFS NFS启动错误: “ERROR portmap.Portmap: Failed to start the server… ChannelException: Failed to bind”

hadoop - 身份验证失败,状态 : 503 error hortonworks HDP 2. 4

java - 如何设置 Flume 以收集简单文件中的日志

java - 如何设置一个 reducer 来发送 <Text, IntWritable> 和一个 mapper 来接收 <Text, IntWritable>?

java - 将 MapReduce 输出拆分为多个输出文件

hadoop - Flume 不接受 Twitter 流的关键字

database - 如何在 Impala 中存储图像文件

hadoop - 如何使用 Flume 在源上执行预处理并在 hdfs 接收器中保留真实文件名