python - 使用odo将数据迁移到SQL

标签 python sql sqlite blaze

我有一个 3 GB 的大 CSV 文件,我想使用 Blaze 调查数据,选择我感兴趣的数据进行分析,最终目标是将该数据迁移到合适的计算后端例如 SQlite、PostgresSQL 等。我可以将这些数据导入 Blaze 并对其进行处理,但这是我遇到问题的部分:

db = odo(bdata, 'sqlite:///report.db::report')`

我不确定如何正确创建一个 db 文件以使用 sqlite 打开。

最佳答案

您可以使用此处列出的说明直接从 CSV 转到 sqlite。 http://odo.pydata.org/en/latest/perf.html?highlight=sqlite#csv-sqlite3-57m-31s 我认为您缺少此处警告的列名称:http://odo.pydata.org/en/latest/sql.html?highlight=sqlite

dshape = discover(resource('report_2015.csv'))
t = odo('report_2015.csv', 'sqlite:///report.db::report', dshape=dshape)

关于python - 使用odo将数据迁移到SQL,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33315511/

相关文章:

python - 无法解析来自 `th` 标记的数据以及来自不同表的 `td` 标记

python - tf.scatter_update 或 tf.scatter_nd_update 可以用于更新张量的列切片吗?

mysql - 在 mysqlWB 中同步我的模型时出错

sql - 在 Rails 中,通过加在一起的两列进行查询?

sqlite - Flutter FutureBuilder未使用sqlite的数据进行构建

android - 在 Android 上获取 SQLite 列的亲和性

java - 如何计算值(重复值除外)?

python - 当一个线程失败时终止多线程代码的正确方法是什么?

python - 如何打印字符串中重复的一个字母?

Java更新SQL数据库性能