python - Google BigQuery 从 Python 脚本执行 SQL 文件

Question

我有一个 python 文件，它使用 datalab.bigquery 来执行写出的 SQL 查询。但是，我将此 SQL 查询保存在同一个 GitHub 存储库中，因此我想知道是否有一种方法可以运行 github SQL 文件，而无需复制和粘贴查询。

目前看起来像这样:

import datalab
import datalab.bigquery as bq
import pandas as pd 

df = bq.Query('''
                SELECT
                  CASE
                    WHEN advance_date IS NULL
                        AND release_date IS NULL
                        AND resale_close_date IS NULL
                            THEN TRUE
 ...
 '''_.to_dataframe()

这工作正常，但是当对 SQL 脚本进行更新时，它们不会反射(reflect)在该 python 脚本中，这会产生问题。我希望它调用保存在 Github 存储库中的 SQL 查询。有没有办法做到这一点？就像 df = bq.execute(sql_file.sql).to_dataframe() 一样。

Answer 1

您可以使用包含 SQL 脚本的 Github 代码片段的“原始”页面，并检查该页面以获取脚本。

例如，假设我想要这个脚本 [1] (在您的情况下，它将是 SQL 脚本)，我单击“RAW”按钮并保存 URL。然后，您可以通过使用 requests 在 Python 中查看该 URL 中的内容:

import requests

raw=<URL OF YOUR SQL SCRIPT>
#In my case it would be
#raw="https://raw.githubusercontent.com/GoogleCloudPlatform/python-docs-samples/master/appengine/standard/bigquery/main.py"
r=requests.get(raw).text
df=bq.Query(r).to_dataframe()

如果我理解正确，那就是你想要的:D。