python组合26个不同时间戳和相同列的数据帧

标签 python pandas dataframe

美国的数据库以 .csv 格式接收来自世界各地的一日信息。有15天的数据,来自26个地方。总共 15x26 = 390 个数据帧。此外,还有26个地方有共同的引用数据框。现在,我想将 390 + 1 个引用数据帧合并为一个。我在这里给出了我的问题的示例:

plA_d1df =        ### place A day1 dataframe
                       Adata
2019-01-10 07:35:22   10
2019-01-10 08:15:17   20

plB_d1df = 
                       Bdata
2019-01-10 07:38:45   30
2019-01-10 08:18:57   40

ptA_d2df = 
                       Adata
2019-01-21 07:35:42   50
2019-01-21 08:15:17   60

ptB_d2df = 
                       Bdata
2019-01-21 07:39:04   70
2019-01-21 08:19:22   80

reference = 
                          ref
2019-01-10 07:35:00     500
2019-01-10 07:38:00     530
2019-01-10 08:15:00     560
2019-01-10 08:18:00     590
2019-01-21 07:35:00     610
2019-01-21 07:39:00     640
2019-01-21 08:15:00     670
2019-01-21 08:19:00     700

所有地点和引用的上述数据应合并到地点 A 的时间戳,如下所示:

combdf = 
  datetime            ref0  Adata     ref1   Bdata  
2019-01-10 07:35:22    500   10      530    30
2019-01-10 08:15:17    560   20      590    40  
2019-01-21 07:35:42    610   50      640    70
2019-01-21 08:15:17    670   60      700    80 

在引用已解决的 answer 后,我实现了以下代码:

biglist = [[plA_d1df,plB_d1df],[plA_d2df,plB_d2df]] ## dataframes are in a nested list of list
l = []
s1 = []
### refdf = reference dataframe
for i in range(0,len(biglist),1):
    for j in range(0,len(biglist[i]),1):       
            s1=refdf.reindex(biglist[i][j].index,method='nearest')            
        if j==0:
            l.append(s1.join(biglist[i][j]))
        else:
            l.append(s1.join(biglist3[i][j]).reindex(l[0].index,method='nearest'))
combdf = pd.concat(l,1) 

以上代码运行成功。组合数据帧 combdf 的时间戳与位置 A 匹配,这就是我想要的。但同一位置的列没有合并。相反,每天都会创建单独的列。所以我最终有 8 列,而不是 4 列,大部分填充了 nan。 我目前的输出是:

combdf = 
  datetime            ref0  Adata   ref1   Bdata   ref0  Adata   ref1   Bdata  
2019-01-10 07:35:22    500   10     530    30       nan    ..          nan
2019-01-10 08:15:17    560   20     590    40       nan    ..          nan
2019-01-21 07:35:42    nan    ..          nan       610   50     640    70
2019-01-21 08:15:17   nan    ..          nan        670   60     700    80 

我必须进行哪些更正才能将列合并到同一列中。

最佳答案

将代码更改为

biglist = [[df1,df2],[df3,df4]] ## dataframes are in a nested list of list
l = []
s1 = []
for i in range(0,len(biglist),1):
    l1=[]
    for j in range(0,len(biglist[i]),1):
            s1=refdf.reindex(biglist[i][j].index,method='nearest')
            if j==0:
                l1.append(s1.join(biglist[i][j]))
            else:
                l1.append(s1.join(biglist[i][j]).reindex(l1[0].index,method='nearest'))
    l.append(pd.concat(l1,axis=1))
combdf = pd.concat(l,0)
combdf
Out[252]: 
                     ref  Adata  ref  Bdata
2019-01-10 07:35:22  500     10  530     30
2019-01-10 08:15:17  560     20  590     40
2019-01-21 07:35:42  610     50  640     70
2019-01-21 08:15:17  670     60  700     80

关于python组合26个不同时间戳和相同列的数据帧,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57211510/

相关文章:

python - Pandas : Compare the columns of a data frame and add a new column & value based on a condition

python - Ubuntu vs OSX 和 SSD vs HDD 上的多处理

python - 从 Pandas 数据框中删除不需要的值

python - pandas 中的循环和转换

r - 计算数据框中每个条目的出现次数

python - 如何在python中匹配两个dataFrame

java - 循环混淆许多Android应用程序

python - 如何在运行时向模块添加属性?

python - DataFrame.drop_duplicates 和 DataFrame.drop 不删除行

python - 删除 Python 中的特定字符/字符串/字符序列