td-agent.config
<match test>
type webhdfs
host localhost
port 50070
path /test/%Y%m%d_%H
username hdfs
output_include_tag false
remove_prefix test
time_format %Y-%m-%d %H:%M:%S
output_include_time true
format json
localtime
buffer_type file
buffer_path /test/test
buffer_chunk_limit 4m
buffer_queue_limit 50
flush_interval 3s
</match>
在hdfs日志文件中，它显示如下:
2016-02-22 16:04:15 {"login_id":123,"email":"abcd@gmail.com"}
有任何方法将流利的时间字段而不是客户端时间嵌入到json数据中，然后再存储在文件中，例如:
{"time_key":"2016-02-22 16:04:15","login_id":123,"email":"abcd@gmail.com"}
最佳答案
我有解决方案:
使用插件https://github.com/repeatedly/fluent-plugin-record-modifier
添加字段时间，然后推送到hdfs
:)
关于hadoop - 将流利的时间包括到json帖子数据中，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35550577/