有没有人有将数据集保存到 Bigquery 表的经验？
我正在使用以下 example 加载到 BigQuery成功地。这使用 RDD.saveAsNewAPIHadoopDataset 方法来保存数据。 我正在使用 Dataset(或 DataFrame)并寻找 saveAsNewAPIHadoopDataset 方法但找不到它。
任何例子都很棒。
最佳答案
你可以使用spark-bigquery它有一个方法dataframe.saveAsBigQueryTable:
df.saveAsBigQueryTable("my-project:my_dataset.my_table")
关于apache-spark - 如何将 Spark 数据集保存到 Bigquery 表，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41762040/