python - 使用 REST 端点将数据迁移到 Cassandra

Question

我需要使用 REST 端点获取数据(返回 JSON 文件)并将数据(JSON)加载到位于 AWS 上的 Cassandra 集群中。

这是一项迁移工作，涉及数百万条记录。无法访问源数据库。仅访问 REST 端点。

1. 我有哪些选择？
2. 使用什么编程语言？(我正在考虑 Python 或任何脚本语言)？
3. 由于我必须迁移数百万条记录，因此我希望同时处理这些作业。
4. 面临哪些挑战？

感谢您的时间和帮助。 ——GK。

Answer 1

Cassandra 2.2.0 提供以 JSON 形式插入和获取数据的功能。因此您可以使用它。

类似于插入 json 数据。

创建表测试.示例( id int 主键， id2 整数， id3 整数 );

cqlsh > INSERT INTO 示例 JSON '{"id":10,"id2":10,"id3":10}' ;

对于选择 Json 数据:

cqlsh > 从示例中选择 json *；

[json]

{“id”:10，“id2”:10，“id3”:10}