hadoop - Spark BigQuery 连接器,设置欧盟位置

标签 hadoop apache-spark google-bigquery

我一直在使用 Google 提供的 BQ 连接器,并为另一个抽象逻辑的连接器做出贡献

我的问题是如何使用 saveAsNewAPIHadoopDataset 通过 spark API 写入欧盟位置?

通过 hadoop conf 设置位置似乎还不够

最佳答案

我通过自己编写一个新的连接器来解决这个问题。可以查看here

关于hadoop - Spark BigQuery 连接器,设置欧盟位置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41741185/

相关文章:

hadoop - 将 yarn 节点管理器置于维护状态

scala - java.lang.NoClassDefFoundError : org/apache/spark/streaming/twitter/TwitterUtils$ while running TwitterPopularTags

google-bigquery - 超出 Bigquery 分区限制

sql - 在bigquery sql中查找最新日期的数据总和

xml - 无法使用WSL将第二个节点加入Apache Ignite集群

java - Hadoop 堆分配

java - 如何在 Hadoop WebHDFS 中启用 OAuth2

apache-spark - Spark结构化流Redis接收器性能不理想

java - UDF 仅从 Spark SQL 中的路径中提取文件名

google-bigquery - 如何通过 CAST 更改 BigQuery 中嵌套字段的类型?