我知道 Splunk 不需要 MySQL 数据库提供的大量功能,并且要对大数据进行索引和执行搜索,使用关系数据库可能不是一个好的选择。
Splunk 是否使用 Lucene 作为搜索引擎,或者他们是否制定了磁盘数据格式?
如果我提问的方式有任何问题,我很抱歉。这是我在 Stack Overflow 上的第一个问题。
最佳答案
Splunk 使用自己的搜索引擎,不基于任何第三方。
它的搜索引擎仅基于文件,背后没有数据库。 它不存储字段,仅存储原始数据。这些字段是在搜索期间提取的,因此非常动态。 它在数据中查找关键字的速度也非常快(大海捞针)。
- 将数据分解为基于时间的事件,并为每个原始事件附加时间。
- 标记事件中找到的每个单词及其在索引中的位置
- 以压缩格式 (tar.gz) 存储事件
更详细地说,Splunk 通过以下方式存储数据:
- 非常快速地搜索事件中的关键字
- 查看原始数据
- 在原始数据上创建新字段并将其与统计命令一起使用。
来源: http://www.splunk.com/web_assets/pdfs/secure/Splunk_for_BigData.pdf http://docs.splunk.com/Documentation/Splunk/6.5.1/Indexer/Howindexingworks
+3年经验 Splunk 架构师。
关于lucene - Splunk数据库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20970454/