apache-kafka - 如何更改 __consumer_offsets 清理策略以从紧凑中删除?

标签 apache-kafka delete-file

我有3个节点的kafka集群,在kafka日志目录中有__consumer_offsets-XX,大量日志文件为100MB,磁盘使用率超过90%,执行命令:

./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name __consumer_offsets --entity-type topics

主题配置:__consumer_offsets 是:

segment.bytes=104857600,cleanup.policy=compact,compression.type=producer

这个主题清理策略比较紧凑,如何改为删除?

最佳答案

该主题是kafka的系统主题。对其应用了两种清理策略:压缩和删除(offsets.retention.mines)。

如果您想减小该主题的大小:

  1. 将segment.bytes更改为较小的数量(参数offsets.topic.segment.bytes)
  2. 减少未使用的消费者组的保留政策(参数 offsets.retention.分钟)
  3. 尝试减少此主题的分区数量(参数 offsets.topic.num.partitions)

关于apache-kafka - 如何更改 __consumer_offsets 清理策略以从紧凑中删除?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41429053/

相关文章:

apache-kafka - 卡夫卡 : weight-based load balanced consumers

java - 在 Kafka Streams 应用程序中,是否有一种方法可以使用输出主题的通配符列表来定义拓扑?

git - 忽略(不提交)Git 跟踪的本地删除文件

c - 状态 0xC0000121 - 删除文件

java - file.delete() 不彻底删除遗留的图像空白图像文件

java - 如何从特定偏移量到特定偏移量的kafka主题中使用数据?

apache-kafka - Kafka Streams - 低级处理器 API - RocksDB TimeToLive(TTL)

java - 如何针对故障点确保生产者和消费者应用程序之间的kafka事务同步?

django - 在 Django 中删除上传的文件

file - iCloud Drive 内用户选择的文件夹内的垃圾文件