我有 Kafka 集群和 log.dirs=/data/kafka设置为server.properties中的数据目录。 由于这些日志占据了很大一部分,我的数据分区一直变满。 (谈论主题目录中的二进制日志,如 000000000000000.log) 我阅读了有关此参数的文档 (log.dirs 保存日志数据的目录。如果不设置,则使用log.dir中的值)
我还没有完全理解它的意思 此外,它们是否可以删除,应该配置哪些保留?是否建议将其与数据目录分开? 谢谢
最佳答案
Kafka Topic 是一个或多个 Kafka 分区的逻辑分组。每个 kafka 分区本质上是磁盘上的(日志)文件。所以你发布kafka的数据,只存储在这些文件(日志)中。
log.dirs 告诉 kafka 在哪里创建这些文件。因此,无论何时您有一个新分区(通过增加现有主题的分区或完全创建一个新主题),您都会在 log.dirs 中看到新文件。
您不应该手动删除此文件夹中的数据。使用 log.retention.hours 配置 Kafka 应保留您的数据多长时间。
关于logging - 理解kafka log.dirs,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63544003/