bigdata - 将数百万个文档写入 Riak

标签 bigdata bulkinsert riak

将大量文档添加到 riak 中的最佳方法是什么?假设有数百万条产品记录,这些记录经常更改(价格等),并且我们希望非常频繁地更新所有这些记录。有没有比在 Riak 中一一替换 key 更好的方法?一次批量处理 1000 个文档...

最佳答案

不幸的是,Riak 中没有任何可用的批量操作,因此必须通过单独更新每个对象来完成。然而,如果您的更新大量到达,则可能值得重新审视您的数据模型。如果您可以对产品进行非规范化,也许可以通过将一系列产品存储在单个对象中,则可以通过对它们进行分组来减少需要执行的更新数量,从而减少集群上的负载。

在 Riak 中建模数据时,除了数据结构之外,您通常还需要查看访问和查询模式,并确保模型支持所有类型的查询和延迟要求。这通常意味着通过分组或复制数据来对模型进行反规范化,以确保更新和查询能够尽可能高效地执行,最好是通过直接 K/V 访问。

关于bigdata - 将数百万个文档写入 Riak,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22561391/

相关文章:

python - NLP项目数据库

MySQL如何在插入行时忽略索引

mysql - 如何使用 Guid 主键自动增量在 Mysql 中进行批量插入?

nosql - 为具有多个值的键建议一个数据库,高度可扩展

python - Riak,如何删除已在使用的索引?

java - 如何模拟riak java客户端?

Java MapReduce 计数器 - Oozie

apache-spark - Spark 如何选择 hdfs 的运行位置

scala - 如何将空 NAN 或无限值替换为 Spark Scala 中的默认值

sql - 使用存储过程批量插入