我有一个非常大的 pyspark 数据框和一个较小的 pandas 数据框,我读入如下:
df1 = spark.read.csv("/user/me/data1/")
df2 = pd.read_csv("data2.csv")
两个数据框都包含标记为“A”和“B”的列。我想创建另一个 pyspark 数据框,其中只有 df1
中的那些行,其中列“A”和“B”中的条目出现在 df2
中具有相同名称的那些列中.即使用 df2 的“A”和“B”列过滤 df1。
Normally I think this would be a join (implemented with
merge
) but how do you join a pandas dataframe with a pyspark one?
我无法将 df1
转换为 pandas 数据框。
最佳答案
您可以在从 pandas 数据帧转换为 pyspark 数据帧时传递模式,如下所示:
from pyspark.sql.types import *
schema = StructType([
StructField("name", StringType(), True),
StructField("age", IntegerType(), True)])
df = sqlContext.createDataFrame(pandas_dataframe, schema)
或者您可以使用我在此函数中使用的 hack:
def create_spark_dataframe(file_name):
"""
will return the spark dataframe input pandas dataframe
"""
pandas_data_frame = pd.read_csv(file_name)
for col in pandas_data_frame.columns:
if ((pandas_data_frame[col].dtypes != np.int64) & (pandas_data_frame[col].dtypes != np.float64)):
pandas_data_frame[col] = pandas_data_frame[col].fillna('')
spark_data_frame = sqlContext.createDataFrame(pandas_data_frame)
return spark_data_frame
关于python - 如何合并 pyspark 和 pandas 数据框,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46304212/