marklogic - 使用自动编码将 CSV(或 TSV)加载到 MarkLogic 中

Question

我已经使用 MLCP(MarkLogic 内容泵)成功地将一个非常干净(简单的英语，没有花哨的符号或图像)的 CSV 文件加载到 MarkLogic 中，以便它将第一行作为列名称，并且我了解到当我尝试加载一些不干净的东西(即与其他语言和编码混合)时，它会失败。

我从摄取指南 (http://docs.marklogic.com/guide/ingestion/encoding?print=yes) 中了解到，MLCP 无法控制编码，因此我决定尝试一下 Java API 和 xdmp Xquery。

当使用 Java API 时，我得到: 第 1549 行处的 UTF-8 转义序列无效 - 文档不是 UTF-8 编码

如果我尝试使用 xdmp 在查询控制台中或在 Information Studio 上的流程中使用自动编码来加载它，它会毫无问题地加载，但 MarkLogic 不会将第一行作为列名称，而是会接收整个文件作为一个文档，这不是我想要的。

有没有办法加载 CSV 文件而不会出现编码问题，并使其将第一行作为列名称？

提前致谢。

Answer 1

RecordLoader 可以做到这一点:http://marklogic.github.io/recordloader/

CONFIGURATION_CLASSNAME=com.marklogic.recordloader.xcc.DelimitedDataConfiguration
FIELD_DELIMITER=,
RECORD_NAME=my-root-element-name

使用这些属性和您的 CSV 文件运行 recordloader.sh。 RecordLoader 期望第一行是标题列表，并将它们转换为元素名称。调整 my-root-element-name 以适合您自己，并将 INPUT_ENCODING 设置为您需要的任何编码。

查看 https://github.com/marklogic/recordloader/blob/master/src/java/com/marklogic/recordloader/xcc/DelimitedDataConfiguration.java了解更多配置选项。