mysql - DIH Mysql 到 Solr 导入问题

Question

我在将文档从 Mysql 索引到 Solr 时遇到问题。

我的配置:
数据配置.xml

<dataConfig>
<dataSource type="JdbcDataSource"
driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://xxx?characterEncoding=utf8"
user="xxx"
password="xxx"/>

<document name="articledata">
    <entity name="outer"
transformer="HTMLStripTransformer"
query="SELECT
id,kundenid,LOWER(title) as title,LOWER(content) as content,
DATE_FORMAT(cr,'%Y-%m-%dT%H:%i:%sZ') as cr,
lang
FROM articledata
WHERE 
DATE(cr) BETWEEN DATE(DATE_SUB(now(),INTERVAL 3 DAY)) AND DATE(now())
AND content IS NOT NULL
ORDER BY DATE(cr) DESC">



      <field column="id" name="id" />
         <field column="kundenid" name="kundenid" />
            <field column="title" name="title" />
            <field column="content" name="content" stripHTML="true" />
         <field column="cr" name="cr" />
         <field column="lang" name="lang" />
        </entity>
    </document>
</dataConfig>

架构.xml

    <?xml version="1.0" ?>
    <schema name="articledata core zero" version="1.1">
      <types>
    <fieldtype name="int"  class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0"/>   
    <fieldtype name="string"  class="solr.StrField" sortMissingLast="true" omitNorms="true"/>   
    <fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>
    <fieldType name="dt" class="solr.TrieDateField" precisionStep="0" positionIncrementGap="0" />

    <fieldType name="textgen" class="solr.TextField" positionIncrementGap="100">
    <analyzer type="index">
        <tokenizer class="solr.WhitespaceTokenizerFactory"/>
        <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
        <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="0"/>
        <filter class="solr.LowerCaseFilterFactory"/>

  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.WhitespaceTokenizerFactory"/>
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
    <filter class="solr.StopFilterFactory"
            ignoreCase="true"
            words="stopwords.txt"
            enablePositionIncrements="true"
            />
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="0"/>
    <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

  </types>

 <fields>   
  <field name="id"        type="int"    indexed="true"   stored="true"   required="true"/>
  <field name="kundenid"  type="int"    indexed="true"   stored="true"   required="true"/>
  <field name="title"     type="string"   indexed="true"   stored="true"   /> 
  <field name="content"   type="textgen"    indexed="true"  stored="true"  />
  <field name="cr"       type="dt"   indexed="true"  stored="true" /> 
  <field name="lang"      type="string"    indexed="true"  stored="true" /> 
  <field name="_version_" type="long"      indexed="true"  stored="true"/>
 </fields>

 <uniqueKey>id</uniqueKey>
 <defaultSearchField>content</defaultSearchField>

 <solrQueryParser defaultOperator="AND"/>

</schema>

通过此配置，我得到如下文档:

"docs": [
      {
        "content": "[B@7f017c71",
        "id": 20785923,
        "cr": "2014-07-24T08:01:58Z",
        "title": "general motors entdeckt neue mängel bei hunderttausenden wagen - news - alle aktuellen news - dpa-afx - general motors dl-,01 - onvista",
        "kundenid": 1,
        "_version_": 1474502436614832000
      },

标题已正确索引

内容显示为废话字符并且不可搜索。

有什么办法可以解决这个问题吗？

提前致谢。

Answer 1

我怀疑数据库中的内容字段必须是text/BLOB而不是varchar(因为标题必须是varchar)。因此，您能够正确索引标题，但内容未正确索引。

如果数据库中有 BLOB 数据或文本数据，那么使用具有正确的分词器、分析器和过滤器集的字段类型可能会很有用。

例如，添加 StandardTokenizerFactory 可以将 token 保持为有意义的值集。

字段类型定义的示例:

<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100" omitNorms="true">
  <analyzer type="index">
    <tokenizer class="solr.StandardTokenizerFactory" />
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
    <filter class="solr.LowerCaseFilterFactory" />
  </analyzer>
</fieldtype>

如果问题仍然存在，那么以下信息将帮助您调查此问题:

1) 可以检查运行查询时从 MYSQL 获得的值: SELECT id,kundenid,LOWER(title) as title,LOWER(content) as content, DATE_FORMAT(cr,'%Y-%m-%dT %H:%i:%sZ') as cr,lang FROMarticledata WHERE DATE(cr) BETWEEN DATE(DATE_SUB(now(),INTERVAL 3 DAY)) AND DATE(now()) AND content IS NOT NULL ORDER BY DATE (cr) DESC"

2) 尝试将 textgen 更改为字符串。

3) 尝试从内容中删除 stripHTML="true"

希望这将帮助您解决问题，或者至少帮助您进一步调查。