hadoop - 如何使用sqoop从hadoop加载数据到solr?

标签 hadoop jdbc solr hdfs sqoop

我想将通过现在驻留在 HDFS 中的 MR 作业创建的索引复制到 solr 中。是否可以使用 sqoop?

如果是,要使用的 jdbc 连接器或驱动程序是什么?如果不是 sqoop,还有其他方法吗?

最佳答案

您可能需要考虑使用水槽。 https://flume.apache.org/FlumeUserGuide.html#flume-1-5-2-user-guide

MorphlineSolrSink:此接收器非常适合将原始数据流式传输到 HDFS(通过 HdfsSink)并同时提取、转换并将相同数据加载到 Solr 中的用例(通过 MorphlineSolrSink)。

更多信息:https://flume.apache.org/FlumeUserGuide.html#morphlinesolrsink

关于hadoop - 如何使用sqoop从hadoop加载数据到solr?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23492013/

相关文章:

java - JDBC 数据源

java - 为什么Java JDBC连接池在部署时要校验

Solr : Index does not have an operational DataImportHandler defined

hadoop - Sentry 的 Hive 用户模拟

hadoop - Hadoop 中的 reduce 任务什么时候开始?

amazon-web-services - 在Amazon EMR中设置配置单元属性?

solr - Solr 索引中缺少 Id 字段

hadoop - 如何跟踪hadoop中哪个数据 block 在哪个数据节点中?

mysql - 使用 clojure.java.jdbc 从 MySQL 流式传输

solr - 将 Solr-5.2.1 与从 Nutch 抓取的数据集成?