python - pd to_datetime 不将 DDMMMYYYY 日期转换为 python 中的日期时间

Question

这是我的数据的样子。如您所见，有些列的格式为 DDMMMYYYY，有些是 NaN，有些是标准的 DD/MM/YYYY 格式。

completion_date_latest      15/03/2001
completion_date_original    15/03/2001
customer_birth_date_1       30/11/1970
customer_birth_date_2       20/11/1971
d_start                      01Feb2018
latest_maturity_date        28/02/2021
latest_valuation_date       15/03/2001
sdate                              NaN
startdt_def                        NaN
obs_date                     01Feb2018

我想将它们转换为日期时间字段。我在名为 varlist2 的列表中有一个列列表，我循环遍历它们以 a) 删除 NA 和 b) 使用 to_datetime 函数转换为日期时间:

for m in range (0,len(varlist2)):
    date_var = varlist2[m]
    print('MM_Dates transform variable: ' + date_var)

    mm_dates_base[date_var] = pd.to_datetime(mm_dates_base[date_var], errors='ignore', dayfirst=True)
    mm_dates_base[date_var] = mm_dates_base[date_var].fillna('')

但是，当我检查我的输出时，我得到了这个，其中 d_start 和 obs_date 没有被转换。知道为什么会出现这种情况以及我可以做些什么来解决这个问题吗？

In [111]: print(mm_dates_base.iloc[0])
completion_date_latest      2001-03-15 00:00:00
completion_date_original    2001-03-15 00:00:00
customer_birth_date_1       1970-11-30 00:00:00
customer_birth_date_2       1971-11-20 00:00:00
d_start                               01Feb2018
latest_maturity_date        2021-02-28 00:00:00
latest_valuation_date       2001-03-15 00:00:00
sdate                                          
startdt_def                                    
obs_date                              01Feb2018

关于如何同时处理 DDMMMYYYY 日期的任何想法？

Answer 1

您可以选择由 varlist2 列定义的所有列到 DataFrame，然后使用 apply + to_datetime如果无法转换，使用 errors='coerce' 将有问题的格式转换为 NaT。最后将 NaTs 替换为 combine_first并分配回去:

df1 = mm_dates_base[varlist2].apply(pd.to_datetime, errors='coerce', dayfirst=True)
df2 = mm_dates_base[varlist2].apply(pd.to_datetime, errors='coerce', format='%d%b%Y')

mm_dates_base[varlist2] = df1.combine_first(df2)
print (mm_dates_base)
  completion_date_latest completion_date_original customer_birth_date_1  \
0             2001-03-15               2001-03-15            1970-11-30   

  customer_birth_date_2    d_start latest_maturity_date latest_valuation_date  \
0            1971-11-20 2018-02-01           2021-02-28            2001-03-15   

  sdate startdt_def   obs_date  
0   NaT         NaT 2018-02-01  

另一个更快的解决方案是循环每一列:

for col in varlist2:
    a = pd.to_datetime(mm_dates_base[col], errors='coerce', dayfirst=True)
    b = pd.to_datetime(mm_dates_base[col], errors='coerce', format='%d%b%Y')
    mm_dates_base[col] = a.combine_first(b)

快速比较:

#[100 rows x 10 columns]
mm_dates_base = pd.concat([df] * 100, ignore_index=True)
In [41]: %%timeit
    ...: 
    ...: for col in varlist2:
    ...:     a = pd.to_datetime(mm_dates_base[col], errors='coerce', dayfirst=True)
    ...:     b = pd.to_datetime(mm_dates_base[col], errors='coerce', format='%d%b%Y')
    ...:     mm_dates_base[col] = a.combine_first(b)
    ...:     
5.13 ms ± 46.4 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)


In [43]: %%timeit
    ...: df1 = mm_dates_base[varlist2].apply(pd.to_datetime, errors='coerce', dayfirst=True)
    ...: df2 = mm_dates_base[varlist2].apply(pd.to_datetime, errors='coerce', format='%d%b%Y')
    ...: 
    ...: mm_dates_base[varlist2] = df1.combine_first(df2)
    ...: 
14.1 ms ± 92.3 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)