docker - Kafka 中的数据如何能够在容器回收后幸存下来？

Question

首先，我不知道这个问题是 Kafka 还是 Docker 的问题……我对这两个主题都是新手。但我认为这更多是一个 Docker 问题，而不是 Kafka 问题(事实上，这将是我没有真正理解其中一个或另一个的问题……)。

我在 Raspberry 4 上安装了 Docker，并为 Kafka 和 Zookeeper 创建了 Docker 镜像；我必须自己创建它们，因为任何现有镜像都不支持 64 位 Raspi(至少我找不到任何人)。但我让他们工作了。

接下来，我从 Kafka 文档中实现了 Kafka Streams 示例(Wordcount)；它运行良好，计算您插入其中的所有文本中的单词，并保留所有先前运行的数字。这在某种程度上是预料之中的；至少该文档中是这样描述的。

因此，经过一些测试运行后，我想重置整个系统。

我认为最简单的方法是关闭 docker 容器，删除主机上已安装的文件夹并重新开始。

但这不起作用:单词计数器仍然在那里!这意味着字数统计不是从 0 开始...

好的，下一步:不仅要删除容器，还要重建镜像!当然，Zookeeper 和 Kafka 都是!

没有区别!保留之前所有运行的字数统计。

使用docker system prune --volumes也没有什么区别......

根据我对 Docker 的有限了解，我假设任何运行时数据都存储在容器中或安装的文件夹(卷)中。因此，当我删除容器以及 Docker 主机上由容器挂载的文件夹时，我希望任何状态都会消失。

显然不是……所以我在这里错过了一些重要的东西，最有可能是 Docker。

我使用的 docker-compose 文件:

version: '3'

services:
  zookeeper:
    image: tquadrat/zookeeper:latest
    ports:
      - "2181:2181"
      - "2888:2888"
      - "3888:3888"
      - "8080:8080"
    volumes:
      - /data/zookeeper/config:/config
      - /data/zookeeper/data:/data
      - /data/zookeeper/datalog:/datalog
      - /data/zookeeper/logs:/logs
    environment:
      ZOO_SERVERS: "server.1=zookeeper:2888:3888;2181"
    restart: always

  kafka:
    image: tquadrat/kafka:latest
    depends_on:
      - zookeeper
    ports:
      - "9091:9091"
    volumes:
      - /data/kafka/config:/config
      - /data/kafka/logs:/logs
    environment:
      KAFKA_LISTENERS: "INTERNAL://kafka:29091,EXTERNAL://:9091"
      KAFKA_ADVERTISED_LISTENERS: "INTERNAL://kafka:29091,EXTERNAL://TCON-PI4003:9091"
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: "INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT"
      KAFKA_INTER_BROKER_LISTENER_NAME: "INTERNAL"
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_DELETE_TOPIC_ENABLE: "true"
    restart: always

我用来清除已安装文件夹的脚本文件:

#!/bin/sh

set -eux

DATA="/data"
KAFKA_DATA="$DATA/kafka"
ZOOKEEPER_DATA="$DATA/zookeeper"

sudo rm -R "$KAFKA_DATA"
sudo rm -R "$ZOOKEEPER_DATA"

mkdir -p "$KAFKA_DATA/config" "$KAFKA_DATA/logs"
mkdir -p "$ZOOKEEPER_DATA/config" "$ZOOKEEPER_DATA/data" "$ZOOKEEPER_DATA/datalog" "$ZOOKEEPER_DATA/logs"

有什么想法吗？

Answer 1

Kafka Streams 将其自己的状态存储在其运行的主机上的“state.dir”配置下。在 Apache Kafka 库中，它位于 /tmp 下。首先检查您是否在代码中覆盖了该属性。

就 Docker 而言，首先尝试不使用卷。

Using docker system prune --volumes made no difference also …

这将清理在 Compose 中使用 docker volume create 或 volumes: 创建的未附加卷，而不是主机安装的目录。