google-bigquery - 使用 bigquery 从 GDELT 收集数据

Question

我正在尝试根据 gdelt 数据库中具有特定客串代码的所有事件构建一个经济指标。

因此，我们的想法是收集从 1990 年至今的数据，看看经济合作如何根据某些词的新闻出现而变化。 CAMEO具体编码0211、0311、061、1011、1211。

我的问题是如何为这些特定的客串代码提取这些数据。如果你能指导我找到任何来源，那将有很大帮助。

有人建议我尝试使用 bigquery。老实说，直到现在我都不知道如何浏览 google bigquery 页面(我尽力了，可能来自非技术背景，这对我来说有点不知所措)。如果你们中的任何人可以帮助解决一个 Cameo 代码数据提取示例，那么我可以尝试其他事件。

编辑:我正在编辑以显示我所取得的进展以及我在运行查询时遇到的问题。

SELECT
   *
FROM
  [gdelt-bq:full.events]
WHERE
  Year >= 1979
  AND EventCode IN ('0211', '0311','061', '1011', '1211')
  AND Actor1CountryCode != Actor2CountryCode

此查询在运行时将处理 228 GB，并且不包括两个国家/地区代码均为空的情况。它有超过 200 万行，我无法从 bigquery 平台将其下载为 csv 文件。

我需要帮助的部分如下， 有什么办法可以得到满足以下条件的每个事件代码的事件总数

1. Actor1Countrycode 和 Actor2CountryCode 应该不同，除非它们为空
2. 每个月统计满足上述条件的每个事件代码。

PS:您可以运行Ben P在下面的答案中给出的代码来查看数据库中列的数量和类型。

Edit2:我正在尝试编写另一个查询，其中具有指定代码的事件的 AvgTone 大于该特定月份所有事件的平均 AvgTone。关于如何写这篇文章的任何线索都会非常有帮助。假设我添加了一个 WHERE 子句，其中 AvgTone 大于该特定时期(在本例中为 MonthYear)所有事件的平均 AvgTone。我的疑问是如何以查询格式编写它。

SELECT
  MonthYear,
  COUNT(*)
FROM
  [gdelt-bq:full.events]
WHERE
  EventCode IN ('0211',
    '0311',
    '061')
  AND Actor1CountryCode != Actor2CountryCode
  AND AvgTone > (SELECT AVG(AvgTone) FROM [gdelt-bq:full.events] GROUP BY MonthYear ORDER BY MonthYear)
  GROUP BY
    MonthYear
  ORDER BY
    MonthYear

错误:ELEMENT 只能应用于具有 0 行或 1 行的结果。

有人可以帮我解决上述问题吗？谢谢。

Answer 1

GDELT 数据库是 available in BigQuery .

这是他们可用数据集的链接，您的第一步是确定其中包含您感兴趣的信息:

https://blog.gdeltproject.org/the-datasets-of-gdelt-as-of-february-2016/

然后网站的这一部分包含示例查询，您可以将其用作起点并尝试根据您的需要进行调整(请注意，这些示例在我看来主要是旧版 SQL，我建议您将它们用作指南和 rewrite then in Standard SQL ):

https://blog.gdeltproject.org/a-compilation-of-gdelt-bigquery-demos/

如果您在完成此操作后有任何具体的 SQL/BigQuery 问题，我建议您回来提出新的问题并分享您的工作代码示例，详细说明您已经尝试过的内容以及您希望看到的结果。

快速浏览了一下，我必须说我不熟悉数据集，但这可能是一个简单的查询，可以让您开始自己的工作:

 -- first we select all columns from the event dataset, which seems 
 -- to be the one you want, containing cameo codes
  SELECT * FROM `gdelt-bq.full.events`
  -- then we add a filter to only look at events in or after 1990
  WHERE Year >= 1990
  -- and another filter to look at only the specific camera 
  --codes you provided (I think EventCode is the correct column here, 
  AND EventCode IN ('0211','0311','061','1011','1211')
  -- finally, we add a limit to our query, so we don't bring back ALL 
  -- the results while testing, once we are happy with our query, we'd remove this!
  LIMIT 100

最后，GDELT tag right here on StackOverflow包含一些非常棒的内容。

希望对您有所帮助，GDELT 看起来是一个引人入胜的项目!