我有3个节点的kafka集群,在kafka日志目录中有__consumer_offsets-XX
,大量日志文件为100MB,磁盘使用率超过90%,执行命令:
./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name __consumer_offsets --entity-type topics
主题配置:__consumer_offsets
是:
segment.bytes=104857600,cleanup.policy=compact,compression.type=producer
这个主题清理策略比较紧凑,如何改为删除?
最佳答案
该主题是kafka的系统主题。对其应用了两种清理策略:压缩和删除(offsets.retention.mines)。
如果您想减小该主题的大小:
- 将segment.bytes更改为较小的数量(参数offsets.topic.segment.bytes)
- 减少未使用的消费者组的保留政策(参数 offsets.retention.分钟)
- 尝试减少此主题的分区数量(参数 offsets.topic.num.partitions)
关于apache-kafka - 如何更改 __consumer_offsets 清理策略以从紧凑中删除?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41429053/