cassandra - 如何在 cassandra 中具有相同结构的列族之间复制/移动数据

标签 cassandra bigdata cql data-migration

我正在寻找一种方法,将列族中的数据复制/移动到同一键空间中具有相同结构的另一个列族中。

我已经尝试使用 COPY 命令导入为 csv 并将其导出到目标列族。

由于数据很大,我在使用 COPY 时遇到超时。

一种方法是编写一个应用程序来使用客户端 API 复制数据并将其添加到其他列族。

是否有任何工具可以在不同列族之间复制/移动数据?或者有其他方式吗?

最佳答案

我建议使用 Spark 进行此类批量迁移。它也是 C* 常规维护的有用工具。

https://github.com/datastax/spark-cassandra-connector

使用spark命令

sc.cassandraTable("ks1","table").saveToCassandra("ks2","table") 

你会移动你的 table 。

如果您对 Spark 不感兴趣,我认为自定义 Java 程序或 Brian Hess 的 Bulkloader 工具会很有用

https://github.com/brianmhess/cassandra-loader

关于cassandra - 如何在 cassandra 中具有相同结构的列族之间复制/移动数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33189869/

相关文章:

java - 如何在cassandra中实现行级锁定

java - 批量查询到 Cassandra

python - 如何在Jupyter Notebook中建立大数据量的机器学习模型?

cassandra - 根据 Where 子句更新 Cassandra 中的列

c# - Cassandra 允许在 C# 中进行过滤

cassandra - STCS : how I can improve compaction performance?

java - 将多个并发数据库操作合并到一个批处理中

r - 大数据列表覆盖最少数量

arrays - Postgresql - 在大数据库中使用数组的性能

python - Cassandra 中的行排序