google-bigquery - BigQuery : What does 'too many large queries' error mean?

标签 google-bigquery

我们在 Google BigQuery 应用程序中收到以下错误:

Exceeded quota: too many large queries for this project

这是什么意思?什么是“大查询”?我们能以某种方式提高这个配额吗?

最佳答案

BigQuery 允许同时执行处理最多 400 GB 数据的查询,以及 2 个任意大小的查询。您所达到的正是后一个配额。

我们将 400 GB 容量称为“管道”。您可以同时最多执行 20 个查询来保持该管道充满,总计小于 400GB。一旦走出该管道,您就可以运行两个任意大小的附加查询。

如果这听起来令人困惑,假设您有两个读取 150 GB 数据的查询,一个读取 1TB 数据,另一个读取 500GB 数据。两个较小的查询将适合 400GB 管道,但 500GB 和 1TB 查询将被视为“大型”查询。这些应该都能够在配额限制下一起运行。

但是,如果 150 GB 查询变为 250GB,则它们将无法同时容纳在 400GB 管道中,并且其中一个查询将被视为“大型”查询,因此您只能运行其中之一1TB 或 500GB 查询。

BigQUery 团队通常不太愿意提高此特定配额,以防止客户降低其他客户的性能。如果您有充分的理由需要增加配额,请通过 http://www.google.com/enterprise/cloud/contact.html 联系我们,我们也许可以满足您的需求。 .

另一个选择是以批处理优先级运行一些大型查询。批量优先级意味着您的结果可能需要更长的时间,但您不会受到与交互式查询相同的限制。

关于google-bigquery - BigQuery : What does 'too many large queries' error mean?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18226750/

相关文章:

javascript - BigQuery JavaScript UDF : Region of V8 instances

google-bigquery - 按周/月/季度/年分区以超过分区限制?

sql - 如何将 BigQuery 嵌套记录取消嵌套到多列中

python - GBQ | python : How can I retrieve data types of all the columns in a table?

sql - 如何在 BigQuery 中将纪元转换为日期?

BigQuery 中特定的正则表达式查询字符串解析

google-bigquery - 如何将时间分区表与模板表一起使用并超过 BigQuery 的 4000 个限制?

python - 将数据帧上传到bigquery时,日期类型的对象不是JSON可序列化错误?

google-bigquery - BigQuery SQL 中的 LAG() 函数错误;无法返回滞后的 hits.page.pagePath

mysql - 如果同步到 Redshift/BigQuery,来自 MySQL 数据库的 bin 日志复制是否会保持唯一约束?