我有几个格式如下的 CSV 文件:
Year,Day,Hour,Min,Sec.,P1'S1
2003, 1, 0, 0,12.22, 0.541
2003, 1, 1, 0,20.69, 0.708
2003, 1, 2, 0, 4.95, 0.520
2003, 1, 3, 0,13.42, 0.539
...
(其中 day 是一年中的第几天),我正在尝试使用 pandas 库(似乎是到目前为止很棒的库)。
有一个内置函数可以在 pandas 中读取 CSV,更好的是,该函数可以检查日期类型的列。并自动将其用作索引(这非常适合我正在做的事情)。
问题是,我无法使用这种格式的日期数据。
我试过:
data = pd.read_csv("csvFile.csv", index_col=[0, 1], , index_col=[0, 1, 2, 3, 4] parse_dates=True)
但它只能正确获取年份:
In [36]: data.index
Out[36]:
MultiIndex
[(<Timestamp: 2003-09-04 00:00:00>, 1, 0, 0, 12.22)
(<Timestamp: 2003-09-04 00:00:00>, 1, 1, 0, 20.69)
(<Timestamp: 2003-09-04 00:00:00>, 1, 2, 0, 4.95) ...,
(<Timestamp: 2003-09-04 00:00:00>, 365, 21, 0, 3.77)
(<Timestamp: 2003-09-04 00:00:00>, 365, 22, 0, 14.6)
(<Timestamp: 2003-09-04 00:00:00>, 365, 23, 0, 13.36)]
从文档中,我看到您可以在 pandas 的 read_csv 函数中指定“date_parser”属性。但是文档没有显示如何,我也无法弄清楚。 任何对该主题有经验的人都可以提供帮助。
干杯, 布鲁诺
最佳答案
为了解析一个多列日期,你需要告诉 pandas 应该将哪些列组合成一个日期,所以你需要说 parse_dates=['Year','Day','Hour' ,'分钟','秒']
您还需要定义自己的解析器,它从您在 parse_dates
中指定的每一列中获取一个元素:
In [1]: import pandas as pd
In [2]: from datetime import datetime, timedelta
In [3]: from cStringIO import StringIO
In [4]: data = """\
Year,Day,Hour,Min,Sec.,P1'S1
2003, 1, 0, 0,12.22, 0.541
2003, 1, 1, 0,20.69, 0.708
2003, 1, 2, 0, 4.95, 0.520
2003, 1, 3, 0,13.42, 0.539
"""
In [5]: def parse(yr, doy, hr, min, sec):
yr, doy, hr, min = [int(x) for x in [yr, doy, hr, min]]
sec = float(sec)
mu_sec = int((sec - int(sec)) * 1e6)
sec = int(sec)
dt = datetime(yr - 1, 12, 31)
delta = timedelta(days=doy, hours=hr, minutes=min, seconds=sec,
microseconds=mu_sec)
return dt + delta
...:
In [6]: pd.read_csv(StringIO(data), parse_dates={'datetime':
['Year','Day','Hour','Min','Sec.']},
date_parser=parse, index_col='datetime')
Out[6]:
P1'S1
datetime
2003-01-01 00:00:12.220000 0.541
2003-01-01 01:00:20.690000 0.708
2003-01-01 02:00:04.950000 0.520
2003-01-01 03:00:13.419999 0.539
关于python - 使用 python pandas 解析格式为 Year, Day, Hour, Min, Sec 的 CSV,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12269528/