Solr/Lucene 最好的文件系统

标签 solr lucene ext4 xfs

我已经用 Solr 和 Redhat 7.3 完成了一些日志索引基准测试。
该机器包括 2 个 7200 RPM 软件 RAID 1、64GB 内存和一个 E3-1240v6 CPU。
我真的很惊讶地发现 ext4 和 xfs 之间的 IO 性能存在巨大差异(请参阅下面的详细信息)。
与 ext4 相比,使用 xfs 建立索引提供了 20% 以上的索引吞吐量(io wait 是 xfs 的第十)。
我正在寻找与为 Solr 机器选择合适的文件系统相关的一些见解。

ext4:
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
       3.09   62.43    1.84   14.51    0.00   18.12
Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb               0.02   169.38   13.95  182.97     0.36    26.28   277.04    40.91  207.66   18.96  222.05   3.82  75.18
sda               0.04   169.34   20.55  183.01     0.61    26.28   270.51    47.18  231.71   27.84  254.60   3.76  76.51

xfs:
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
       3.18   81.72    2.19    1.48    0.00   11.42

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    17.51    0.00  123.70     0.00    29.13   482.35    34.03  274.97   56.12  274.97   5.39  66.63
sdb               0.00    17.53    0.09  123.69     0.00    29.13   482.05    34.84  281.29   25.58  281.48   5.29  65.52

最佳答案

因为您自己完成了测试(希望与您的预期生产用途相似),所以没有其他人会就 FS 提出更好的建议。当然,如果您可以将旋转磁盘更改为 SSD,那会好得多,特别是对于索引吞吐量而言。

关于Solr/Lucene 最好的文件系统,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44451053/

相关文章:

elasticsearch - 如何在运行时从 Solr 中过滤大量 id 列表

mongodb - 使用DataImportHandler连接MongoDB和Solr的步骤

lucene - 是否有任何 Lucene 荧光笔不需要原始文本 - 但可以在术语位置等上工作

java - Lucene 的 Ruby 替代品

java - AtomicReader 和 KNearestNeighbour train() 方法

solr - 使用 solr 6.4.1 配置 Tesseract

wamp 中未加载 php SOLR 扩展

文件系统

linux - 在linux中,如何(快速)获取目录中所有文件的列表 - 及其文件大小

linux - 将 ext4 文件系统的文件名大小限制扩展到 1012 个字符