flume 如何识别活跃的 namenode 以便将数据写入 HDFS?如果没有高可用性 Hadoop,我们将在 Flume.conf 中配置 namenode ip,以便将数据轻松定向到 HDFS。而在我们的例子中,Flume 应该识别事件名称节点和备用名称节点,从而将数据定向到事件名称节点。
最佳答案
据我所知,这是不可能的直接方式。 HDFS sink
配置只能容纳一个Namenode。
尽管如此,我认为您可以配置两个 HDFS 接收器(和两个 channel ),每个接收器都指向一个 Namenode。由于默认 Replicating Channel Selector
,源将在两个 channel 中放置每个事件的副本。因此,每个接收器都会尝试自己保存数据;指向备用Namenode的Namenode将不会保留任何内容,直到事件名称节点崩溃并且备用名称节点变为事件状态为止。
呵呵!
关于hadoop - 如何使用Apache FLUME将数据写入HA Hadoop QJM?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30178368/