我已经安装了 airflow 并编写了一个 DAG 来将 MySQL 数据与 BigQuery 集成。
当我运行 python 脚本时，出现以下错误:
ImportError: cannot import name GbqConnector
我按照说明将 pandas 降级到旧版本。当我这样做时，我得到了一个不同的错误:
ImportError: cannot import name _test_google_api_imports
编辑:建议来自 x97Core 工作。
我现在有一个不同的问题。我收到以下错误:
/usr/local/lib/python2.7/dist-packages/airflow/models.py:1927: PendingDeprecationWarning: Invalid arguments were passed to MySqlToGoogleCloudStorageOperator. Support for passing such arguments will be dropped in Airflow 2.0. Invalid arguments were:
*args: ()
**kwargs: {'google_cloud_storage_connn_id': 'podioGCPConnection'} category=PendingDeprecationWarning
/usr/local/lib/python2.7/dist-packages/airflow/models.py:1927: PendingDeprecationWarning: Invalid arguments were passed to GoogleCloudStorageToBigQueryOperator. Support for passing such arguments will be dropped in Airflow 2.0. Invalid arguments were:
*args: ()
**kwargs: {'project_id': 'podio-data'} category=PendingDeprecationWarning
根据此链接，问题在于 Airflow 与 python2 和 python3 的兼容性。我试过在两者上运行代码，但仍然出现相同的错误。 Airflow mysql to gcp Dag error
有谁知道是否有解决方案？
最佳答案
刚遇到这个问题。
降级 pandas 版本似乎有效(在 Airflow v1.8.0 上测试):
pip install pandas==0.18.1
更多详情:https://issues.apache.org/jira/browse/AIRFLOW-1179
或者如果您使用的是 Airflow 1.8.2 或更高版本。
pip install pandas-gbq
关于python - Airflow 与 BgQuery Error 集成，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48063047/