google-api - 谷歌bigquery API返回 "too many free query bytes scanned for this project"

标签 google-api google-bigquery

我正在使用 Google 的大型查询 API 从其 n-gram 数据集中检索结果。因此,我发送了多个查询“SELECT ngram from trigram_dataset where ngram == 'natural languageprocessing'”。

我基本上使用此处发布的相同代码 ( https://developers.google.com/bigquery/bigquery-api-quickstart ) 替换为我的查询语句。

在每个程序运行时,我都必须获取新的授权代码并将其输入到控制台中,这会授权我的程序在我的项目 ID 下向 google big query 发送查询。但是,发送 5 个查询后,它只返回 ""message": "超出配额:为该项目扫描了太多可用查询字节"。

根据Google Big Query政策,他们的免费配额是100G/月,我认为我还没有接近他们的配额。有人在上一个线程中建议我应该启用账单信息以使用他们的免费配额,我这样做了,但它仍然给我同样的错误。有什么方法可以检查剩余配额或如何解决此问题?非常感谢!

最佳答案

您提到的查询扫描 1.12 GB 的数据,因此您应该能够在一个月内运行它 89 次。

配额的工作方式是,您从每月 100 GB 配额开始 - 如果您用完它,您不必等待整个月,但每天您会获得 3.3 个以上的配额。

我的猜测(请确认)是您运行了一堆查询并用完了每月 100 GB 的免费配额,然后等待了一天,并且在达到配额上限之前只能运行一些查询。如果不是这种情况,请告诉我,并提供您的项目 ID,我可以查看日志。

另外,请注意,这不是 bigquery 的最有效用法;一种选择是将多个请求一起批处理。在这种情况下,您可以执行以下操作:

SELECT ngram 
FROM trigram_dataset 
WHERE ngram IN (
  'natural language processing',
  'some other trigram',
  'three more words')

关于google-api - 谷歌bigquery API返回 "too many free query bytes scanned for this project",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21976137/

相关文章:

javascript - 输入 5 个字符后 Google Place 自动完成地址表

ruby-on-rails - 如何在 Rails 项目中将 key 文件作为参数传递

google-bigquery - Google Bigquery 命令行返回限制

google-analytics - 在 bigquery 中复制 "is followed by"段,适用于 session 但不适用于用户?

python - Google BigQuery Schema 冲突(pyarrow 错误)与使用 load_table_from_dataframe 的数字数据类型

python - Google Drive API 权限不足 : Request had insufficient authentication scopes

angular - 如何使用Cordova将Google Play应用购买与Angular应用集成?

ruby-on-rails - 如何在 Ruby on Rails 服务器上验证从 Android 发送的 Google token ID?

firebase - 如何将 firestore 子集合导出到 bigquery 表?

google-api - 如何获取 Google Fit API 的 userId?