apache-kafka - Kafka Streams 聚合阶段是否序列化和反序列化每个单个元素？

Question

我注意到 aggregate() stage 似乎序列化/反序列化每个元素，即使它定期发出结果。

  streamBuilder
      .stream(inputTopic, Consumed.`with`(keySerde, inputValueSerde))
      .groupByKey(Serialized.`with`(keySerde, inputValueSerde))
      .aggregate(
        () => Snapshot.Initial(),
        (_, event, prevSnap: Snapshot) => {
          // ...
        },
        Materialized.as(stateStoreName).withValueSerde(snapshotSerde)
      )
      .toStream()

我希望键值存储在内存中工作，直到提交写入。看起来不仅每次更新都会写入，而且还有反序列化的读取。有人可以解释一下这在下面是如何工作的，以及我是否应该关注性能？

Answer 1

您对数据始终(反)序列化的观察是正确的，即使所有数据都在内存中。 Kafka Streams中的所有存储都基于byte[]数组以允许适当的内存管理。反序列化的堆上 Java 对象的大小未知，这使得内存管理困难且内存使用不可预测。
您的存储仍然可以在内存中工作，并且仅在必要时和提交时才会写入磁盘。