python - pandas 时间戳到 posix 转换的奇怪行为

Question

我执行以下操作:

1. 通过 apply(strptime) 将 pandas 数据框中的字符串日期时间转换为 Python 日期时间
2. 通过.timestamp()方法将datetime转换为posix时间戳
3. 如果我使用 .fromtimestamp() 将 posix 恢复为 datetime，我会获得不同的日期时间

我的时区相差 3 小时(我现在处于 UTC+3)，所以我认为这是一种时区问题。我也知道在 apply 中它会隐式转换为 pandas.Timestamp，但我不明白这种情况下的区别。

这种奇怪行为的原因是什么？我应该怎样做才能避免这种情况？实际上，在我的项目中，我需要将此 pandas 时间戳与正确的 poxis 时间戳进行比较，但现在它工作错误。

下面是可重现的虚拟示例:

df = pd.DataFrame(['2018-03-03 14:30:00'], columns=['c'])
df['c'] = df['c'].apply(lambda x: datetime.datetime.strptime(x, '%Y-%m-%d %H:%M:%S'))
dt = df['c'].iloc[0]
dt
>> Timestamp('2018-03-03 14:30:00')
datetime.datetime.fromtimestamp(dt.timestamp())
>> datetime.datetime(2018, 3, 3, 17, 30)

Answer 1

首先，我建议在使用 pandas 时使用 np.timedelta64 数据类型。在这种情况下，它使互惠变得简单。

pd.to_datetime('2018-03-03 14:30:00').value
#1520087400000000000

pd.to_datetime(pd.to_datetime('2018-03-03 14:30:00').value)
#Timestamp('2018-03-03 14:30:00')

其他方法的问题是 POSIX 将 UTC 作为原点，但 fromtimestamp 返回本地时间。如果您的系统不符合 UTC，那么我们就会遇到问题。以下方法可以解决这个问题:

from datetime import datetime
import pytz

dt
#Timestamp('2018-03-03 14:30:00')

# Seemingly problematic:
datetime.fromtimestamp(dt.timestamp())
#datetime.datetime(2018, 3, 3, 9, 30)

<小时/>

datetime.fromtimestamp(dt.timestamp(), tz=pytz.utc)
#datetime.datetime(2018, 3, 3, 14, 30, tzinfo=<UTC>)

datetime.combine(dt.date(), dt.timetz())
#datetime.datetime(2018, 3, 3, 14, 30)

mytz = pytz.timezone('US/Eastern')  # Use your own local timezone
datetime.fromtimestamp(mytz.localize(dt).timestamp())
#datetime.datetime(2018, 3, 3, 14, 30)