使用 Cron 将数据从 mysql 数据库导出到 CSV，然后读取此 csv 文件并使用 bigquery 将其所有数据获取到谷歌云
大家好，我有一个名为 db_test 的 Mysql 数据库，其中有一个名为members_test(id, name) 的表。我正在研究 Linux Ubunto 操作系统。我正在尝试使用 cronjob 在午夜将数据从此表中提取到 CSV 文件中。另外，我想让bigquery以某种方式读取这个csv文件并获取其数据并将它们放入保存在谷歌云平台上的名为cloud_members_tab的表中。
如何做到这一点？
最佳答案
- 确保您正确生成了 CSV(不要本身依赖 MySQL CSV 导出)
- 安装
gsutil和bq命令行实用程序 - 将 CSV 上传到 Google 云端存储
使用如下所示的 shell 命令:
gsutil cp -j -o="GSUtil:parallel_composite_upload_threshold=150M" /tmp/export.csv gs://bucket/export.csv
bq加载bq load --source_format=CSV --field_delimiter="," --null_marker="\N" --allow_quoted_newlines --autodetect --source_format=CSV dataset.tablename gs://bucket/export.csv
关于mysql - 使用Cron将数据从mysql数据库导出到CSV，然后将所有数据获取到bigquery表，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52294661/