lucene - Splunk数据库

标签 lucene splunk

我知道 Splunk 不需要 MySQL 数据库提供的大量功能,并且要对大数据进行索引和执行搜索,使用关系数据库可能不是一个好的选择。

Splunk 是否使用 Lucene 作为搜索引擎,或者他们是否制定了磁盘数据格式?

如果我提问的方式有任何问题,我很抱歉。这是我在 Stack Overflow 上的第一个问题。

最佳答案

Splunk 使用自己的搜索引擎,不基于任何第三方。

它的搜索引擎仅基于文件,背后没有数据库。 它不存储字段,仅存储原始数据。这些字段是在搜索期间提取的,因此非常动态。 它在数据中查找关键字的速度也非常快(大海捞针)。

  1. 将数据分解为基于时间的事件,并为每个原始事件附加时间。
  2. 标记事件中找到的每个单词及其在索引中的位置
  3. 以压缩格式 (tar.gz) 存储事件

更详细地说,Splunk 通过以下方式存储数据:

  1. 非常快速地搜索事件中的关键字
  2. 查看原始数据
  3. 在原始数据上创建新字段并将其与统计命令一起使用。

来源: http://www.splunk.com/web_assets/pdfs/secure/Splunk_for_BigData.pdf http://docs.splunk.com/Documentation/Splunk/6.5.1/Indexer/Howindexingworks

+3年经验 Splunk 架构师。

关于lucene - Splunk数据库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20970454/

相关文章:

java - 如何使用 gradle 获取 Hibernate Search Lucene 的所有依赖项?

JMeter 输出到事件日志

python - 从字典列表到 np 数组数组,反之亦然

logging - "Error L10 (output buffer overflow)"写入 Splunk 排水管时

mysql - 如何使用 for 循环将新字段添加到文档索引 Lucene 中。

c# - 如何使用整数 id 重新索引文档?

elasticsearch - 为什么Elasticsearch的字段数限制为1000

java - 尝试使用 logback 附加程序登录到 Splunk

java - 如何将json数据发送到splunk HEC或splunk enterprise

在 Lucene 中为包含多个数字的文本建立索引