python - 在字符串列表上使用 strptime()。不能使用循环

Question

我有一个字符串列表(unicode)。像这样:

>>> tstamp
[u'2017-08-08T08:51:20.465Z', u'2017-08-08T08:51:27.871Z', u'2017-08-08T08:51:33.399Z', u'2017-08-08T08:51:37.530Z', u'2017-08-08T08:51:47.248Z', u'2017-08-08T08:51:50.414Z', u'2017-08-08T08:51:54.707Z', u'2017-08-08T08:51:54.781Z']

我想将这个字符串列表转换为日期时间对象列表。像这样:

>>> dtstamp
[datetime.datetime(2017, 8, 8, 8, 51, 20, 465000), datetime.datetime(2017, 8, 8, 8, 51, 27, 871000), datetime.datetime(2017, 8, 8, 8, 51, 33, 399000), datetime.datetime(2017, 8, 8, 8, 51, 37, 530000), datetime.datetime(2017, 8, 8, 8, 51, 47, 248000), datetime.datetime(2017, 8, 8, 8, 51, 50, 414000), datetime.datetime(2017, 8, 8, 8, 51, 54, 707000), datetime.datetime(2017, 8, 8, 8, 51, 54, 781000)]

我的解决方案非常粗糙，我希望无需使用任何类型的循环即可进行此转换。转换速度至关重要。到目前为止，这是我的代码:

dtstamp = [0]*len(tstamp)
for i in range(0,len(tstamp)):
     dtstamp[i] = datetime.datetime.strptime(tstamp[i], '%Y-%m-%dT%H:%M:%S.%fZ')

它做我想做的事，但会很慢。我考虑过尝试这个，但行不通:

dtstamp = datetime.datetime.strptime(tstamp, '%Y-%m-%dT%H:%M:%S.%fZ')

任何人都可以指出我正确的方向吗？

提前致谢!

Answer 1

您只需按原样在列表上使用 pd.to_datetime 即可获得显着的加速。但是，我认为即使您可以调整方法，您也不会因此达到每秒 600,000 次转换。

import pandas as pd
import datetime as dt

my_list = [u'2017-08-08T08:51:20.465Z', u'2017-08-08T08:51:27.871Z', u'2017-08-08T08:51:33.399Z', u'2017-08-08T08:51:37.530Z', u'2017-08-08T08:51:47.248Z', u'2017-08-08T08:51:50.414Z', u'2017-08-08T08:51:54.707Z', u'2017-08-08T08:51:54.781Z']
new_list = []
for x in xrange(100000):
    new_list.extend(my_list)

def basic_list_approach(the_list):
    return [dt.datetime.strptime(item, '%Y-%m-%dT%H:%M:%S.%fZ') for item in the_list]

def pandas_approach(the_list):
    converted = pd.to_datetime(the_list)
    return converted

%timeit basic_list_approach(new_list)
1 loop, best of 3: 12.6 s per loop

%timeit pandas_approach(new_list)
1 loop, best of 3: 1.45 s per loop