python - 如何在突触分析(Microsoft azure)中将spark_df读取为数据帧？

如何在突触分析(Microsoft azure)中读取spark_df作为数据帧，以便我可以在笔记本中使用pandas的必要代码？

spark_df = spark.createDataFrame(filtered_df)
spark_df.write.mode("overwrite").saveAsTable("default.NYC_Taxi")

现在我想将表格读取为数据帧。我尝试了以下代码:

new_df = NYC_Taxi.to_pandas_dataframe()

错误:

NameError : name 'nyc_taxi' is not defined
Traceback (most recent call last):
NameError: name 'nyc_taxi' is not defined

最佳答案

您可以使用这样的代码:

spark_df = spark.createDataFrame(filtered_df)

new_df = spark_df.select("*").toPandas()

关于python - 如何在突触分析(Microsoft azure)中将spark_df读取为数据帧？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/66438958/