marklogic - 将 Facebook、Instagram、Twitter 等社交媒体数据加载到 Data HUB marklogic 中

标签 marklogic marklogic-dhf

寻找一种简单的方法将社交媒体数据从 Facebook、Instagram 和 Twitter 加载到 Marklogic 的数据中心。

我可以想象,将社交媒体数据存储到 HDFS,然后存储到 MarkLogic 将是处理大量数据的一种方法。使用MLCP。 我确实检查了 Apache NIFI 是否有来源社交媒体数据并创建进入 MarkLogic 的流程。但没有任何直接连接到 Facebook 或 Insta 的连接,只有 twitter 可用。

主要目标:按主题、评级等其他搜索条件从社交中查找所有美食、体育、赛车信息。 来源、文献、图文信息

最佳答案

这里的挑战是从社交媒体平台获取信息,而不是实际将其放入 MarkLogic。我建议你继续谷歌搜索如何使用 NiFi 来获取数据——很可能已经完成了。完成后,只需发送到 PutMarkLogic 处理器即可。

例如,我很快就找到了这个:https://github.com/iheb-boughzala/AllFbPostsUsingNifi 。我没有详细研究过这个问题,但看起来您只需要将 PutHDFS 处理器替换为 PutMarkLogic 即可。

关于marklogic - 将 Facebook、Instagram、Twitter 等社交媒体数据加载到 Data HUB marklogic 中,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56005381/

相关文章:

MarkLogic Data Hub Framework Quick Start Hub - 连接到远程实例时出现错误 "unsupported auth scheme: [Basic realm=public]"

xquery - 在 XQuery 中解析日期数组(MarkLogic v8 风格)

javascript - MarkLogic 8 - 将大型结果集流式传输到文件 - JavaScript - Node.js 客户端 API

search - 搜索选项错误中的提取文档数据

xpath - 从大型数据库返回唯一元素值

javascript - 日期时间范围查询

MarkLogic - 使用 MLCP 的增量加载

gradle - 无法在数据中心框架 MarkLogic 中运行 Harmonize 流