python - 从 Pandas 数据帧到 Spark 数据帧的转换需要大量时间

Question

我使用 48 核远程计算机，但是对于大小为 (1009224, 232) 的 pandas 数据帧，下面所示的操作需要花费大量时间。实际上，我在 Spark 的 Web GUI 上看不到运行阶段。有什么想法或建议吗？ [更新] 我的主要问题是我无法实现使用 48 核机器的所有可用核心。我想我的配置是错误的。此代码执行但未在 48 核中执行。

from pyspark.sql import SparkSession

spark_session = SparkSession.builder.appName("rocket3") \
    .config('spark.driver.memory', '30g')\
    .config('spark.executor.memory', '30g')\
    .config('spark.executor.cores', '40') \
    .config('spark.cores.max', '40') \
    .getOrCreate()

import time

start = time.time()
df_sp = spark_session.createDataFrame(x_df)
end = time.time()
print(end - start)

Answer 1

使用此代码片段进行转换。

dataset = pd.read_csv("data/file.csv")
sc = SparkContext(conf=conf)
sqlCtx = SQLContext(sc)
sdf = sqlCtx.createDataFrame(dataset)

如果您收到此错误

TypeError: Can not merge type <class 'pyspark.sql.types.StringType'> and <class 'pyspark.sql.types.DoubleType'>

然后将列的数据类型更改为str

例如。

df[['SomeCol', 'Col2']] = df[['SomeCol', 'Col2']].astype(str)