hadoop - 使用 camus 属性将纪元时间戳转换为日期时间格式

标签 hadoop apache-kafka hdfs apache-kafka-connect camus

我的 kafka 消息有多个字段,其中包含长格式的纪元时间戳。我的消息是这样的:

{
    "someDate1":1512725505000,
    "someDate2":1518060461000,
    "ABC":"XYZ",
    "PQR":"MNO"
}

在使用 camus 属性文件中的某些属性加载到 hdfs 时,有没有办法将所有这些纪元时间戳转换为日期时间格式。

最佳答案

Camus 已折旧 - 您最好使用 HDFS connector卡夫卡连接。它是开源的,可用 standalone或作为 Confluent Platform 的一部分.

作为 Kafka Connect 的一部分,您拥有 Single Message Transforms ,您可以使用它来将您的时代转换为更具可读性的形式 - 参见 org.apache.kafka.connect.transforms.TimestampConverter
在此 blog article here 中查看更多操作中的单消息转换示例.

关于hadoop - 使用 camus 属性将纪元时间戳转换为日期时间格式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48927235/

相关文章:

hadoop - MapReduce:当 2 个 block 分布在不同节点上时,如何进行输入分割?

java - 在 hadoop.io api 的可写类中使用 readFields()

function - Hadoop 中 org.apache.hadoop.mapreduce.Mapper.run() 函数的用途是什么?

arrays - 由于超出VM限制,MapReduce处理失败

java - 与 kafka 消费者记录并行流

hadoop - 如何将事件拆分为多个事件以将它们发送到多路复用扇出流

apache-kafka - Kafka 设计问题 - Kafka Connect 与自己的消费者/生产者

java - Kafka 0.9 - 如何通过 java api 创建主题

java - 打开作业 jar : file in hdfs 时出错

hadoop - Datanode中的操作系统