database - 如何使用 Solr 4.0+ 索引作为数据库 BLOB 包含的格式丰富的文档？

Question

我已经找到了一些解决这个问题的相关方法。正如我将解释的那样，相关解决方案对我不起作用。 (我正在使用 Solr 4.0 和索引存储在 Oracle 11g 数据库中的数据。)

解释了 Jonck van der Kogel 的相关解决方案(自 2009 年起)here .他描述了创建自定义 Transformer，有点像 Solr 附带的 ClobTransformer。这是走优雅的道路，但没有使用现在与 Solr 集成的 Tika。 (他使用外部 PDFBox 和 FontBox。)这会创建多个维护/升级依赖项。此外，除了 PDF 之外，我还需要能够索引 Word 文档。

既然 Kogel 的解决方案似乎走在了正确的道路上，那么有没有办法在自定义 Transformer 中使用 Solr 附带的 Tika 类？这将允许所有 Tika 功能与 Kogel 优雅的数据库解决方案相结合。

另一个相关的解决方案是 ExtractingRequestHandler (ERH) 随 Solr 一起提供。然而，顾名思义，这是一个请求处理程序，例如处理富文本文档的 HTTP 帖子。以这种方式从数据库中提取文档存在性能和安全问题。我必须让数据库 BLOB 可以通过 HTTP 访问。我发现没有关于使用 ERH 直接从数据库 BLOB 摄取的讨论。是否可以使用 Solr Cell 直接从数据库中摄取 BLOB？

另一个相关的解决方案是编写一个 Transformer(如上面 Kogel 的)以将 byte[] 转换为字符串(来自 DataImportHandler FAQ)。对于真正的二进制文档，这将把垃圾输入索引，并且不能像 Tika 那样正确地提取文本元素。行不通。

最后一个相关的解决方案是 RichDocumentHandler 提供的 UpdateRichDocuments。这已被弃用，在 Solr 中不再可用。该页面将您引向 ExtractingRequestHandler(如上所述)。

似乎正确的解决方案是使用 DataImportHandler 和使用 Tika 类的客户转换器。这是如何工作的？

Answer 1

许多小时后...首先，关于这个问题有很多误导性的、错误的和无用的信息。似乎没有一个页面可以在一个地方提供所有内容。所有的信息都是出于好意，但在不同的版本和一些超出我理解的范围内，它并没有解决问题。这是我收集的所学知识和解决方案。 重申一下，我使用的是 Solr 4.0(在 Tomcat 上)+ Oracle 11g。

解决方案概述:DataImportHandler + TikaEntityProcessor + FieldStreamDataSource

第 1 步，确保更新 solrconfig.xml 以便 solr 可以找到 TikaEntityProcessor + DataImportHandler + Solr Cell 东西。

<lib dir="../contrib/dataimporthandler/lib" regex=".*\.jar" />
<!-- will include extras (where TikaEntPro is) and regular DIH -->
<lib dir="../dist/" regex="apache-solr-dataimporthandler-.*\.jar" />
<lib dir="../contrib/extraction/lib" regex=".*\.jar" />
<lib dir="../dist/" regex="apache-solr-cell-\d.*\.jar" />

第 2 步，修改您的 data-config.xml 以包含您的 BLOB 表。这是我遇到最多麻烦的地方，因为随着版本的变化，这个问题的解决方案发生了很多的变化。另外，使用多个数据源并将它们正确地连接在一起对我来说并不直观。完成后非常光滑。确保替换您的 IP、SID 名称、用户名、密码、表名等。

<dataConfig>
  <dataSource name="dastream" type="FieldStreamDataSource" />
  <dataSource name="db" type="JdbcDataSource"
    driver="oracle.jdbc.OracleDriver"
    url="jdbc:oracle:thin:@192.1.1.1:1521:sid"
    user="username"
    password="password"/>
  <document>
    <entity 
      name="attachments" 
      query="select * from schema.attachment_table"
      dataSource="db">
      <entity 
        name="attachment" 
        dataSource="dastream"
        processor="TikaEntityProcessor"
        url="blob_column"
        dataField="attachments.BLOB_COLUMN"
        format="text">
        <field column="text" name="body" />
      </entity>
    </entity>
    <entity name="unrelated" query="select * from another_table" dataSource="db">
    </entity>
  </document>
</dataConfig>

此处重要说明。如果您在尝试导入时收到 "No field available for name : whatever" 错误，FieldStreamDataSource 无法解析您提供的数据字段名称。对我来说，我必须让 url 属性带有小写的列名，然后让 dataField 属性带有 outside_entity_name.UPPERCASE_BLOB_COLUMN。另外，一旦我的列名错误，这也会导致问题。

第 3 步，您需要修改 schema.xml 以添加 BLOB 列字段(以及您需要索引/存储的任何其他列)。根据您的需要进行修改。

<field name="body" type="text_en" indexed="false" stored="false" />
<field name="attach_desc" type="text_general" indexed="true" stored="true" />

<field name="text" type="text_en" indexed="true" stored="false" multiValued="true" />
<field name="content" type="text_general" indexed="false" stored="true" multiValued="true" />

<copyField source="body" dest="text" />
<copyField source="body" dest="content" />

有了它，您应该可以节省很多时间来获取二进制、富文本文档(也称为富文档)，这些文档作为 BLOB 存储在用 Solr 索引的数据库列中。