google-app-engine - 如何将 Stackdriver 日志导入 BigQuery

Question

有没有办法将日志从应用引擎加载到 Google Cloud Platform 上的 BigQuery 中？

我正在尝试使用联合查询加载 Cloud Storage 中的 Stackdriver 日志文件。但是 BigQuery 无法加载 Stackdriver 写入的某些字段名称。

日志文件是换行符分隔的 JSON，记录类似于

{  
   "insertId":"j594356785jpk",
   "labels":{  
      "appengine.googleapis.com/instance_name":"aef-my-instance-20180204t220251-x59f",
      "compute.googleapis.com/resource_id":"99999999999999999",
      "compute.googleapis.com/resource_name":"c3453465db",
      "compute.googleapis.com/zone":"us-central1-f"
   },
   "logName":"projects/my-project/logs/appengine.googleapis.com%2Fstdout",
   "receiveTimestamp":"2018-02-08T02:59:59.972739505Z",
   "resource":{  
      "labels":{  
         "module_id":"my-instance",
         "project_id":"my-project",
         "version_id":"20180204t220251"
      },
      "type":"gae_app"
   },
   "textPayload":"{\"json\":\"blob\"}\n",
   "timestamp":"2018-02-08T02:59:54Z"
}

但 BigQuery 对此输入返回错误:查询:字段名称“compute.googleapis.com/zone”无效。字段只能包含字母、数字和下划线，以字母或下划线开头，长度最多为 128 个字符。

有什么方法可以将此类日志提取到 BigQuery 中吗？

我对仅提取 textPayload 字段特别感兴趣。

Answer 1

您可以将 Stackdriver 日志导出到 BigQuery

在 Google Cloud Platform 控制台中，Stackdriver Logging>> 导出>> 创建导出。 创建过滤器 resource.type="gae_app" 并填写右侧的接收器名称，然后选择 BigQuery 作为接收器服务> 然后选择要从接收器目标导出的数据集。 https://console.cloud.google.com/logs/exports

引用:https://cloud.google.com/logging/docs/export/configure_export_v2#dest-create