我正在运行 DSE 4.6.5 集群 (Cassandra 2.0.14.352)。 遵循 datastax 的指南,在每台计算机上,我将数据目录与 commitlog/saved 缓存目录分开:
- 数据存储在速度极快的驱动器上
- 提交日志和保存的缓存位于系统驱动器上:2 HDD RAID1
在执行密集写入时使用 OpsCenter 监控磁盘,我发现第一个没有任何问题,但是我看到后面(提交日志)的队列大小平均约为 300 到 400,峰值高达 700 个请求。当然,这些驱动器的延迟也相当高......
这会影响我的集群的性能吗? 您是否建议将提交日志和保存的缓存放在 SSD 上?与系统盘分离?
谢谢。
编辑 - 从节点之一添加 tpstats :
[root@dbc4 ~]# nodetool tpstats
Pool Name Active Pending Completed Blocked All time blocked
ReadStage 0 0 15938 0 0
RequestResponseStage 0 0 154745533 0 0
MutationStage 1 0 306973172 0 0
ReadRepairStage 0 0 253 0 0
ReplicateOnWriteStage 0 0 0 0 0
GossipStage 0 0 340298 0 0
CacheCleanupExecutor 0 0 0 0 0
MigrationStage 0 0 0 0 0
MemoryMeter 1 1 36284 0 0
FlushWriter 0 0 23419 0 996
ValidationExecutor 0 0 0 0 0
InternalResponseStage 0 0 0 0 0
AntiEntropyStage 0 0 0 0 0
MemtablePostFlusher 0 0 27007 0 0
MiscStage 0 0 0 0 0
PendingRangeCalculator 0 0 7 0 0
CompactionExecutor 8 10 7400 0 0
commitlog_archiver 0 0 0 0 0
HintedHandoff 0 1 222 0 0
Message type Dropped
RANGE_SLICE 0
READ_REPAIR 0
PAGED_RANGE 0
BINARY 0
READ 0
MUTATION 49547
_TRACE 0
REQUEST_RESPONSE 0
COUNTER_MUTATION 0
编辑 2 - sar 输出:
04:10:02 AM CPU %user %nice %system %iowait %steal %idle
04:10:02 PM all 22.25 26.33 1.93 0.48 0.00 49.02
04:20:01 PM all 23.23 26.19 1.90 0.49 0.00 48.19
04:30:01 PM all 23.71 26.44 1.90 0.49 0.00 47.45
04:40:01 PM all 23.89 26.22 1.86 0.47 0.00 47.55
04:50:01 PM all 23.58 26.13 1.88 0.53 0.00 47.88
Average: all 21.60 26.12 1.71 0.56 0.00 50.01
最佳答案
Monitoring disks with OpsCenter while performing intensive writes, I see no issue with the first,
Cassandra 将写入保留在内存(内存表)和提交日志(磁盘)中。
当内存表大小增长到阈值时,或者当您手动触发它时,Cassandra 会将所有内容写入磁盘(刷新内存表)。
为了确保您的设置能够处理您的工作负载,请尝试手动刷新所有内存表
nodetool flush
在节点上。或者只是一个特定的键空间
nodetool flush [keyspace] [columnfamilfy]
同时监视您的磁盘 I/O。
如果 I/O 等待时间较长,您可以通过添加更多节点来分担工作负载,或者将数据驱动器切换到吞吐量更高的更好的驱动器。
密切关注丢弃的突变(可能是发送写入/提示的其他节点)和丢弃的刷新写入器。
I see the queue size from the later (commit log) averaging around 300 to 400 with spikes up to 700 requests.
这可能是您写入提交日志的内容。 你的硬件还有其他用途吗?是软件袭击吗?您是否禁用了交换功能?
Cassandra 单独工作效果最好:) 所以是的,至少将提交日志放在单独的(可以更小)磁盘上。
关于performance - DSE- Cassandra : Commit Log Disk Impact on Performances,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29643739/