我的 kafka 消息有多个字段,其中包含长格式的纪元时间戳。我的消息是这样的:
{
"someDate1":1512725505000,
"someDate2":1518060461000,
"ABC":"XYZ",
"PQR":"MNO"
}
在使用 camus 属性文件中的某些属性加载到 hdfs 时,有没有办法将所有这些纪元时间戳转换为日期时间格式。
最佳答案
Camus 已折旧 - 您最好使用 HDFS connector卡夫卡连接。它是开源的,可用 standalone或作为 Confluent Platform 的一部分.
作为 Kafka Connect 的一部分,您拥有 Single Message Transforms ,您可以使用它来将您的时代转换为更具可读性的形式 - 参见 org.apache.kafka.connect.transforms.TimestampConverter
在此 blog article here 中查看更多操作中的单消息转换示例.
关于hadoop - 使用 camus 属性将纪元时间戳转换为日期时间格式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48927235/