如何使用 cassandra DB 检索大数据。我正在使用 Cassandra 1.1.7。配备 32 GB RAM 和 1 TB 硬盘。成功地,我可以将记录插入其中。当我试图检索数据时
例如:
select * from table name (or) select count(*) from tablename;
Cassandra 服务器可能崩溃或关闭(表包含 30 万行 10 列)。
显示错误:
Adjust the flush_largest_memtables_at_threshold size in yaml or clear cache size
JVM 堆转储错误在 cassandra/bin
文件夹中创建了 pid-XXX.hprof
文件。
在 cassandra-env.sh
中,我设置:
MAX_HEAP_SIZE="27G" HEAP_NEWSIZE="2G"
在 cassandra.yaml
中我设置了:
memtable_total_space_in_mb: 100
我们每天在每个表中插入 100k 以上的数据,因此 cassandra 数据大小可能每天增加 1G。那么我是否需要随之增加我的 RAM 大小?
最佳答案
这里有两件事:
1) 您的 MAX_HEAP_SIZE
太大了。 DataStax's documentation on Java heap tuning提供了一个表格来帮助您根据系统 RAM 确定正确的设置。对于 32GB 的 RAM,您将属于“大于 4GB”类别。那么推荐值为:
1/4 system memory, but not more than 8GB
原因再往下...
In most cases, the capability of Java to gracefully handle garbage collection above 8GB quickly diminishes.
对于 MAX_HEAP_SZIE
,认真考虑将其降低到 8GB 或更少。对于 HEAP_NEWSIZE
,建议将其设置为每个内核 100MB。如果注释掉,HEAP_NEWSIZE
将是您的 MAX_HEAP_SIZE
的 1/4。
更好的是,在 cassandra-env.sh
中注释掉 两个 MAX_HEAP_SIZE
和 HEAP_NEWSIZE
的设置.这样,Cassandra 将确定这些值需要什么。考虑到您当前的设置有多么离谱,让 Cassandra 为您确定这些设置是更好的选择。
2) 您的 memtable_total_space_in_mb
也完全不正常。我也会注释掉这个设置。 Cassandra默认会把这个设置成堆空间的1/3,也就是说这个设置和之前同样不正确的设置直接相关。
通过注释掉这些设置并允许 Cassandra 管理它们,您的值应该如下所示:
MAX_HEAP_SIZE: 8192M
HEAP_NEWSIZE: (num cores) x 100M, or (1/4 of MAX)...2048M
memtable_total_space_in_mb: 2731
为了帮助解决所有这些问题,我根据 cassandra-env.sh
中的代码创建了一个 bash 脚本:
#!/bin/bash
clear
echo "This is how Cassandra will determine its default Heap and GC Generation sizes."
system_memory_in_mb=`free -m | awk '/Mem:/ {print $2}'`
half_system_memory_in_mb=`expr $system_memory_in_mb / 2`
quarter_system_memory_in_mb=`expr $half_system_memory_in_mb / 2`
echo " memory = $system_memory_in_mb"
echo " half = $half_system_memory_in_mb"
echo " quarter = $quarter_system_memory_in_mb"
echo "cpu cores = "`egrep -c 'processor([[:space:]]+):.*' /proc/cpuinfo`
#cassandra-env logic duped here
#this should help you to see how much memory is being allocated
#to the JVM
if [ "$half_system_memory_in_mb" -gt "1024" ]
then
half_system_memory_in_mb="1024"
fi
if [ "$quarter_system_memory_in_mb" -gt "8192" ]
then
quarter_system_memory_in_mb="8192"
fi
if [ "$half_system_memory_in_mb" -gt "$quarter_system_memory_in_mb" ]
then
max_heap_size_in_mb="$half_system_memory_in_mb"
else
max_heap_size_in_mb="$quarter_system_memory_in_mb"
fi
MAX_HEAP_SIZE="${max_heap_size_in_mb}M"
# Young gen: min(max_sensible_per_modern_cpu_core * num_cores, 1/4 * heap size)
max_sensible_yg_per_core_in_mb="100"
#doesn't work?
# max_sensible_yg_in_mb=`expr (max_sensible_yg_per_core_in_mb "*" $system_cpu_cores)`
max_sensible_yg_in_mb="400"
desired_yg_in_mb=`expr $max_heap_size_in_mb / 4`
if [ "$desired_yg_in_mb" -gt "$max_sensible_yg_in_mb" ]
then
HEAP_NEWSIZE="${max_sensible_yg_in_mb}M"
else
HEAP_NEWSIZE="${desired_yg_in_mb}M"
fi
echo "Max heap size = " $MAX_HEAP_SIZE
echo " New gen size = " $HEAP_NEWSIZE
将其放入脚本文件 (machineInfo.sh) 并在我的开发服务器上运行它会产生以下输出:
$ ./machineInfo
This is how Cassandra will determine its default Heap and GC
Generation sizes.
memory = 3948
half = 1974
quarter = 987
cpu cores = 4
Max heap size = 1024M
New gen size = 256M
总而言之,您的错误消息似乎指向一个设置 (memtable_total_space_in_mb
),该设置大约是应有值的 1/25。该设置(通常)基于 JVM 堆的大小,该大小比应有的大 3.5 倍。我也同意 Cassandra 2.0.8 比 1.1.7 有了实质性改进,值得您花时间升级。
话虽这么说,请尝试更改我提到的设置,然后重新启动您的集群。与运行升级相比,这是一项风险较低的更快任务。
关于java - 当我们尝试检索大数据时 Cassandra 服务器崩溃,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24545862/