Java - 将 MessagePack 时间戳转换为日期

标签 java datetime apache-beam msgpack

我正在解码来自 Java 项目中 Apache Beam 管道的 MessagePack 消息。我正在使用 Maven 将 MessagePack 库导入为依赖项:

<dependency>
  <groupId>org.msgpack</groupId>
  <artifactId>msgpack-core</artifactId>
  <version>0.8.16</version>
</dependency>

我可以使用它来将 MessagePack 消息解析为 Map 中的键/值对,如下所示:

    @ProcessElement
    public void processElement(ProcessContext c) 
    {
        try 
        {           
            Map<Value, Value> map = MessagePack.newDefaultUnpacker(c.element().getPayload()).unpackValue().asMapValue().map();

map 包含 MessagePack 'Timestamp' 'extension' 类型的键/值对,如下所示,代表日期/时间(请参阅底部的 'Note',了解 MessagePack 扩展类型的解释):

UTC=(-1,0x5b-161d46)

我可以通过使用键 UTC 从 map 中获取值来获取“时间戳”值。我将其作为 MessagePack ExtensionValue 检索,如下所示:

 Value date = map.get(ValueFactory.newString("UTC")).asExtensionValue();

date 是一个具有 2 个属性的对象:

`type` = 1
`data` = `0x5b-161d46`

如何将 data 转换为有意义的日期表示形式? “数据”应转换为“当前”日期,大约在 2018 年 11 月 16 日左右。这不像将十六进制值转换为十进制那么简单。我是否需要以某种方式单独解压缩此 data ?我怀疑 5b-161d46 可能需要被视为字节数组,然后以某种方式进行转换。

我可以这样做来获取扩展类型的 data 部分作为字节数组:

byte[] date = map.get(ValueFactory.newString("UTC")).asExtensionValue().getData();

这给了我 [91, -22, 29, 70]

...我可以尝试像这样解压它:

MessagePack.newDefaultUnpacker(date).unpackValue()

...然而,这只是给我转换为 long 的第一个字节 (5b),即 91

如果我尝试其中任何一个,我都会得到 org.msgpack.core.MessageTypeCastException,可能是因为 unpackValue 只给我一个 long

MessagePack.newDefaultUnpacker(date).unpackValue().asIntegerValue();
MessagePack.newDefaultUnpacker(date).unpackValue().asMapValue();
MessagePack.newDefaultUnpacker(date).unpackValue().asRawValue();

我也尝试过以下方法:

MessageUnpacker unpacker = MessagePack.newDefaultUnpacker(date);
    while(unpacker.hasNext()) {
        MessageFormat f = unpacker.getNextFormat();
            switch(f) {
                case POSFIXINT:
                case NEGFIXINT: {
                    int v = unpacker.unpackInt();
                    break;
                }
             }
    }

数组中的值被识别为 POSFIXINTNEGFIXINT,因此我可以使用它来提取数组中每个字节的十进制整数值,但是这仅允许我将 date 数组中的元素提取为整数,但我仍然不知道如何将其转换为日期。

我需要如何解释/解压缩这些日期?


Note - An extension value is special type of MessagePack value, represented as a tuple where -1 defines the extension type. -1 is a reserved extension for a MessagePack timestamp, and the remainder gives a hex value (0x5b-161d46):

https://github.com/msgpack/msgpack/blob/master/spec.md#timestamp-extension-type

最佳答案

我想通了!首先,简短版本(如何在 Java 中将 MessagePack 时间戳值转换为有意义的数字):

import java.nio.ByteBuffer

byte[] timestampValues = myTimestampExtensionValue.asExtensionValue().getData();                            
ByteBuffer wrapped = ByteBuffer.wrap(timestampValues);
Long dateValue = wrapped.getLong();

在我自己的例子中,我接收到日期作为时间戳扩展值作为映射中键/值对的一部分,如下所示:

UTC=(-1,0x5b-e28-35)

这可能有多种格式,这非常令人困惑,例如:

(-1,0x5b-1b6f-24)
(-1,0x5b-1b7056)
(-1,0x5b-1b58-4)

我发现如果我这样做:

byte[] date = map.get(ValueFactory.newString("UTC")).asExtensionValue().getData();

...它总是给我一个 32 位字节数组。对于我的例子 UTC=(-1,0x5b-e28-35) ,我得到:

[91, -14, 40, -53]

这也让我感到困惑 - 我看不出这怎么可能是整数。需要注意的是,这些是有符号字节,其中负值是要从该字节的最大值中减去的值,即 255

我不确定为什么会发生这种情况(可能是为了通过在每个字节中要求更少的空间来节省内存)。无论如何,上面的示例转换为以下十进制形式:

[91, 241, 40, 202]

虽然在 Java 中有一种简单的方法来转换原始字节数组 [91, -14, 40, -53]为整数,通过导入 java.nio.ByteBuffer并使用:

ByteBuffer wrapped = ByteBuffer.wrap(date);
Integer num = wrapped.getInt();

对于我的例子,这给了我们 1542596811 ,结果是 自 Unix 纪元以来的秒数。所以,如果我们将其转换为毫秒,我们现在有 1542596811000 ,或 Mon 19 November 2018, 14:06:51 的日期.很简单!

关于Java - 将 MessagePack 时间戳转换为日期,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53331266/

相关文章:

java - 将 ProtocolBuffer 消息的重复字段提供给自定义列表适配器

java - 让 spring-data-neo4j 使用 getter 和 setter

iphone - Objective-C - 在给定时间/日期执行功能

amazon-dynamodb - 从 DynamoDB 迁移到 Spanner/BigTable

google-cloud-dataflow - 带有触发器用例的数据流滑动窗口与全局窗口?

java - 无法在本地运行 GCP DataflowTemplates

java - 我可以在 Eclipse 上构建 Swing 应用程序吗?

java - 如何仅对某些事物使用 Graphics2D g.scale() 而对其他事物不使用?

python - Pandas DataFrame.to_excel 错误的日期时间

c# - 在 MVC5 中使用 Html.DisplayFor() 的日期格式