Python Pandas 追加数据帧列表

标签 python list pandas append

<分区>

这是一个简单的问题,但我认为以前没有人问过它。

如果我有一个数据帧列表(由于多处理,它们需要采用这种格式),

df_list=[df1,df2,...,dfn]

是否有一种优雅的方式来 append 所有这些?一个衬垫会更好。

最佳答案

以下并行处理示例适用于 IPython通过使用 concat 方法:

    from IPython import parallel
    clients = parallel.Client() #a lightweight handle on all the engines of a cluster
    clients.block = True  # use synchronous computations
    print(clients.ids)

    dview = clients[:] #dview = clients.direct_view()
    dview.block = True

    dview.scatter("experiment", myDataFrame) # <myDataFrame> scattered as <experiment> to the engines
    dview["wlist_ptrn"] = wlist_ptrn
    dview.execute("experiment['allFeats'] = experiment.ttext.str.findall(wlist_ptrn)")
    return pd.concat(dview.gather("experiment")) # gather method returns a list of data frames

我希望它对多处理模块输出有用。

关于Python Pandas 追加数据帧列表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25512220/

相关文章:

python - Python 中的稀疏随机矩阵,其范围不同于 [0,1]

c++ - 我的 SendMessage/PostMessage 部分代码有什么问题?

python - 根据 Pandas 中列的值删除行

python - 追加到维度未知的嵌套列表

python - 如何在循环中使用groupby()函数?

python - Parquet 文件上 groupby 的最佳实践

r - 将一个列表映射到另一个列表

java - 如何检查列表字符串变量的元素

python - 在 pandas 中插入行,其中一列缺少 groupby 中的某些值

python - 排除除一列之外的所有值超过 100 的行