google-bigquery - 如何查看BQ中当前达到的已用配额?

标签 google-bigquery

Google的BQ配额政策表明,每个项目最多只能加载10,000个项目。

在Google API网站上,我可以看到我的项目的配额,但是“已使用”列始终为0%。 (即使我知道我达到了极限)

如何查看最近一天执行的负载请求量?
另外,该配额恰好在什么时间重置?

谢谢。

最佳答案

您无法确定每天配额中使用了多少负载(除了列出前一天的工作并计算负载数量之外)。我们正在考虑将更多数据添加到Google Cloud Console页面的“配额”页面中,并将负载限制添加到列表中。

BigQuery中有几种不同类型的配额限制。有些严格的限制旨在防止用户占用过多的有限容量。并发“大型”查询的限制是其中之一,因为大型查询会占用大量资源,并且我们不希望一个客户能够对其他用户的性能产生不利影响。随着容量的增加,硬配额会随着时间而增加。

还有其他一些配额是“软”配额,它们可以鼓励有效使用BigQuery。负载限制是这些“软”配额之一,旨在防止用户进行大量的细微更新或写入大量的细小表。

如果您要进行大量的小更新,则最好使用流插入机制(tabledata.insertAll()),该机制允许您将行发布到BigQuery并立即添加到表中。如果您有许多附加到同一张表的小型加载作业,则意味着在BigQuery的定期合并操作在表上运行之前,不会对表进行优化。另一方面,使用tabledata.insertAll()写入的表以更有效的方式写出,并且不需要合并。

如果要写入许多小表,则可能表明您打算查询大量表。查询中有许多小表,这意味着BigQuery每个查询必须做更多的工作,并且在存储数据方面也缺乏灵活性。

还有很多其他原因,您希望每个项目每天要加载超过1万个负载。如果您愿意,我们希望更好地了解您的用例。如果您有Google Cloud支持(https://cloud.google.com/support/)的支持安排,则您的支持联系人可以与您一起确定您的需求以及配额增加是否有意义。

关于google-bigquery - 如何查看BQ中当前达到的已用配额?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20512847/

相关文章:

mysql - Google Big Query - 连接年份范围

node.js - 将数据流式传输到 BigQuery 时没有错误响应

java - BigQuery 插入请求的 DEADLINE_EXCEEDED 异常

google-bigquery - 获取项目中所有表的 Table_Id 以及 Rowcount

javascript - "Converting circular structure to JSON"BigQuery 从云函数 NodeJs 插入

sql - Google BigQuery 中的阶乘

google-sheets - 在运行 BigQuery 作业之前确定资源使用情况

SQL-jaccard 相似度

sql - 从 BigQuery 获取用户级别的人口统计数据

google-bigquery - 用于将 HLL_COUNT.INIT 提取到 BigQuery 中的 Google DataFlow API