hadoop - 如何使用 Flume 将事件从运行在 Windows 10 IoT 上的 Raspberry Pi 记录到 HDFS

标签 hadoop raspberry-pi hdfs flume windows-10-iot-core

我想将我的 LED 闪烁(开/关)和不同的室温记录到 HDFS。我找到了这个 http://flume.apache.org/FlumeDeveloperGuide.html .

它说“Flume 目前支持 Avro、log4j、syslog 和 Http POST(带有 JSON 主体)作为从外部源传输数据的方式”。

我的问题是,如果我想将 Raspberry Pi 生成的数据记录到 HDFS,我应该使用什么。请给我一些教程链接或指导我。或者请让我知道最好的方法吗?希望我问的问题很简单。

最佳答案

免责声明 - 我不熟悉 Flume。 只是阅读你关于 Flume 支持日志记录的声明,我认为你唯一的选择是使用 JSON 的 HTTP POST。我这样说是因为: log4j 是一个 Java 日志实用程序。有一个 .Net 版本,但我 a) 不知道它是否会在通用应用程序中运行,并且 b) 可能没有支持 Flume 日志记录的扩展。 syslog 是 Win IoT 上不存在的 Linux 日志记录机制 我一点也不熟悉 Avro,但可能没有 Win IoT 版本。

剩下的就是 HTTP POST。 Win IoT 上的 .Net 具有可让您相当轻松地完成此操作的类。查看 Windows.Web.HttpClient 类的 postAsync 方法。我没有亲自尝试过。

马克·拉德伯恩 [MSFT]

关于hadoop - 如何使用 Flume 将事件从运行在 Windows 10 IoT 上的 Raspberry Pi 记录到 HDFS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32054538/

相关文章:

c++ - 无法识别的命令行选项 “-std=c++11”

hadoop - 数据分析用什么

hadoop - Hive View 查询性能 : Union tables with different schemas

Raspberry Pi 的 Python 脚本无法正常运行

hadoop - Solr HBase 搜索引擎

Hadoop Datanode 启动失败,没有运行

mysql - 使用 Hadoop 作为 MySQL 存储引擎?

regex - 在Pig脚本中使用正则表达式从日志中提取字符串

hadoop - elasticsearch 与 mahout 集成

python - 如何将十六进制字符串转换为整数?