python - 如何在 Python 中有效地将字符串类型的数据框列转换为日期时间？

Question

我有一个包含 ID 的列，时间在其中编码。例如:

0    020160910223200_T1
1    020160910223200_T1
2    020160910223203_T1
3    020160910223203_T1
4    020160910223206_T1
5    020160910223206_T1
6    020160910223209_T1
7    020160910223209_T1
8    020160910223213_T1
9    020160910223213_T1

如果我们删除第一个和最后三个字符，我们将获得第一行:20160910223200，应将其转换为 2016-09-10 22:32:00。

我的解决方案是编写一个截断 ID 并转换为日期时间的函数。然后，我将此函数应用于我的 df 列。

from datetime import datetime
def MeasureIDtoTime(MeasureID):
    MeasureID = str(MeasureID)
    MeasureID = MeasureID[1:14]
    Time = datetime.strptime(MeasureID, '%Y%m%d%H%M%S')
    return Time
df['Time'] = df['MeasureID'].apply(MeasureIDtoTime)

这工作正常，但对我来说速度很慢。我必须处理超过 2000 万行，我需要一个更快的解决方案。有更高效解决方案的想法吗？

更新

根据@MaxU 的说法，有一个更好的解决方案:

pd.to_datetime(df.ID.str[1:-3], format = '%Y%m%d%H%M%S')

这会在 32 秒内完成 720 万行的工作。然而，在 R 中，由于 lubridate::ymd_hms() 函数，我在不到 2 秒的时间内完成了任务。所以我想知道在 Python 中是否有更好的解决方案来解决我的问题。

Answer 1

更新:性能优化...

让我们试着优化一下

DF 形状:50.000 x 1

In [220]: df.head()
Out[220]:
                   ID
0  020160910223200_T1
1  020160910223200_T1
2  020160910223203_T1
3  020160910223203_T1
4  020160910223206_T1

In [221]: df.shape
Out[221]: (50000, 1)

In [222]: len(df)
Out[222]: 50000

时间:

In [223]: %timeit df['ID'].apply(MeasureIDtoTime)
1 loop, best of 3: 929 ms per loop

In [224]: %timeit pd.to_datetime(df.ID.str[1:-3])
1 loop, best of 3: 5.68 s per loop

In [225]: %timeit pd.to_datetime(df.ID.str[1:-3], format='%Y%m%d%H%M%S')
1 loop, best of 3: 267 ms per loop    ### WINNER !

结论:明确指定日期时间格式可将其速度提高 21 倍。

注意:只有当你有一个固定的日期时间格式时才有可能

旧答案:

In [81]: pd.to_datetime(df.ID.str[1:-3])
Out[81]:
0   2016-09-10 22:32:00
1   2016-09-10 22:32:00
2   2016-09-10 22:32:03
3   2016-09-10 22:32:03
4   2016-09-10 22:32:06
5   2016-09-10 22:32:06
6   2016-09-10 22:32:09
7   2016-09-10 22:32:09
8   2016-09-10 22:32:13
9   2016-09-10 22:32:13
Name: ID, dtype: datetime64[ns]

df 是:

In [82]: df
Out[82]:
                   ID
0  020160910223200_T1
1  020160910223200_T1
2  020160910223203_T1
3  020160910223203_T1
4  020160910223206_T1
5  020160910223206_T1
6  020160910223209_T1
7  020160910223209_T1
8  020160910223213_T1
9  020160910223213_T1