logging - 理解kafka log.dirs

标签 logging apache-kafka partition kafka-topic

我有 Kafka 集群和 log.dirs=/data/kafka设置为server.properties中的数据目录。 由于这些日志占据了很大一部分,我的数据分区一直变满。 (谈论主题目录中的二进制日志,如 000000000000000.log) 我阅读了有关此参数的文档 (log.dirs 保存日志数据的目录。如果不设置,则使用log.dir中的值)

我还没有完全理解它的意思 此外,它们是否可以删除,应该配置哪些保留?是否建议将其与数据目录分开? 谢谢

最佳答案

Kafka Topic 是一个或多个 Kafka 分区的逻辑分组。每个 kafka 分区本质上是磁盘上的(日志)文件。所以你发布kafka的数据,只存储在这些文件(日志)中。

log.dirs 告诉 kafka 在哪​​里创建这些文件。因此,无论何时您有一个新分区(通过增加现有主题的分区或完全创建一个新主题),您都会在 log.dirs 中看到新文件。

您不应该手动删除此文件夹中的数据。使用 log.retention.hours 配置 Kafka 应保留您的数据多长时间。

关于logging - 理解kafka log.dirs,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63544003/

相关文章:

linux - 从 Icinga2 输出中删除 NFS 挂载分区?

java - 动态记录java类变量及其值

perl - 如何记录在 Perl 中就地编辑期间所做的更改?

apache-spark - Spark Structured Streaming 中 KafkaSource 的 "offset was changed from X to 0"错误是什么?

java - 确保消息的有序处理

apache-kafka - Kafka Streams - 减少大型状态存储的内存占用

mysql 按日期分区

sql - 对每 n 个和组上的 SQL 行求和

java - 如何使用带有 log4j2 的 Java 日志记录来正确管理使用插件创建的日志文件的生命周期

logging - Logback asyncAppender 似乎不是线程安全的