hadoop - 使用 Flume 获取推文时出现问题

Question

我可以使用 flume 获取推文，但是，流式传输所使用的语言不是我想要的。下面是 flume.conf 文件

我收到的推文如下所示:

任何人都可以建议我需要进行的更改吗？

Answer 1

Apache Flume 中的TwitterSource 目前不支持语言过滤。这个先前的问题描述了一个过程(公认的复杂)，您可以通过该过程部署您自己的具有语言支持的代码补丁版本:

Flume - TwitterSource language filter

我认为 Apache Flume 支持语言过滤将是一个有值(value)的增强。我鼓励您在 FLUME 中的 Apache JIRA 中提交请求项目。

如果您有兴趣，也请考虑贡献一个补丁。我认为这只是将“语言”设置从 configure 方法中的配置中拉出来，将其保存在一个成员变量中，然后将其传递到 Twitter4J API 中。