python - 为什么 pandas read_csv 转换器的性能要慢得多并且是非矢量化的？

Question

为什么将向量化函数传递给 read_csv converters 参数，它们会分别对每个值执行，而不是一次对所有值执行？ 这比之后手动转换相应的列要慢得多 (~60x)。

描述

在读取大型csv文件(几百万行的混合数据)时，我使用了pandas的read_csv方法的converters参数，方便的传递了将字符串转换为datetime的函数对象等

但是，与手动转换相应的列相比，使用转换器参数非常慢。

示例代码

为了说明，让我们使用 3 种不同的方法将字符串转换为日期时间对象:

1. 转换器参数
2. parse_dates/date_parser 参数
3. 加载 csv 后手动

注意，这里从字符串到日期时间的转换是任意的。这可以用其他函数替换(除了没有特定的 parse_dates/date_parser 参数)。

import pandas as pd # 0.19.2 with python 3.5

# create dummy data
rows = 100000
data = {"dates": pd.date_range("2017-02-27 20:44:23", periods=rows, freq="S")}

# save as temporary file for timeit
pd.DataFrame(data).to_csv("dummy")

# define converters
def convert_datetime(series):
    return pd.to_datetime(series, format="%Y-%m-%d %H:%M:%S")

现在，让我们看看 timeit (iPython) 比较:

# METHOD 1
%%timeit
df = pd.read_csv("dummy", converters={"dates": convert_datetime})
# 1 loop, best of 3: 7.76 s per loop

# METHOD 2
%%timeit
df = pd.read_csv("dummy", parse_dates=["dates"], date_parser=convert_datetime)
# 10 loops, best of 3: 125 ms per loop   

# METHOD 3
%%timeit
df = pd.read_csv("dummy")
df["dates"] = convert_datetime(df["dates"])
# 10 loops, best of 3: 129 ms per loop

结果

转换器的版本比其他版本慢大约 60 倍。为了更好地理解这一点，我将 convert_datetime 函数包装到一个小装饰器类中以计算调用次数:

class Counter:
   def __init__(self, func):
       self.func = func
       self.count = 0
   
   def __call__(self, *args, **kwargs):
       self.count += 1
       return self.func(*args, **kwargs)

@Counter
def convert_datetime(series):
    return pd.to_datetime(series, format="%Y-%m-%d %H:%M:%S")

它揭示了使用转换器的参数为每个值调用 convert_datetime 函数，而其他版本只调用转换器函数一次。这解释了性能缺陷。

Answer 1

来自 read_csv 的文档(强调我的)，

converters : dict, default None

• Dict of functions for converting values in certain columns. Keys can either be integers or column labels

converters 关键字参数的想法是提供作用于单个值而不是整个列的函数。这可以通过重新定义转换器函数看出

def convert_datetime(val):
    return datetime.datetime.strptime(val, "%Y-%m-%d %H:%M:%S")

%timeit pd.read_csv("dummy", converters={"dates": convert_datetime})
1 loop, best of 3: <b>2.81 s per loop</b>

如您所想，这相当于大量 Python 函数调用。

---

至于为什么 converters 参数不接受向量化函数，我最好的猜测 是它们提供的灵 active 比当前的实现要差一些。想法是您可以解析必要的日期列等，这可能需要一些带有矢量化parse_dates、date_parser 的解析逻辑，并且大多数进一步的列操作可以使用向量化方法在读取后完成。

换句话说，能够解析具有以不同类型(如日期时间)结束的元素对于在 read_csv 中使用矢量化方法很方便。除此之外，converters 只是一个方便的参数，它可以灵活地作用于各个值 - 因为进一步的向量化方法无论如何都可以在读后完成。