我在一个数据集中有大约 108 个表。我正在尝试使用以下 bash 脚本提取所有这些表:
# get list of tables
tables=$(bq ls "$project:$dataset" | awk '{print $1}' | tail +3)
# extract into storage
for table in $tables
do
bq extract --destination_format "NEWLINE_DELIMITED_JSON" --compression "GZIP" "$project:$dataset.$table" "gs://$bucket/$dataset/$table.json.gz"
done
但似乎
bq ls
一次只能显示大约 50 个表,因此我无法将它们提取到云存储中。无论如何我可以使用
bq ls
命令访问所有 108 个表吗?
最佳答案
列出 bq ls
将显示的表时的默认行数是 100。您可以使用命令行选项 --max_results
或 -n
更改此值。
您还可以在 bq
中设置 $HOME/.bigqueryrc
的默认值。
Adding flags to .bigqueryrc
关于google-cloud-platform - 使用 bq CLI 在 bigquery 中列出数据集中的所有表并将它们存储到谷歌云存储,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54208253/