python - append 数据框的更有效方法

Question

我运行了一些测试，发现这段代码效率很低。在日期范围内循环，如果 self.query 位于 df 中，则 append 该行，非常简单。但我听到很多意见，认为这样的追加效率不高，甚至很耗资源。
我的 Parquet 有 4 列，有数百万行 - query phone_count desktop_count total，删除了 2 列，这意味着我有index、query 和 total 然后奇迹就发生了。

这段代码工作得“很好”，但现在我正在寻找有经验的用户的意见，并可能得到一些提示。

有没有办法以更有效的方式做同样的事情？也许是元组？

谢谢大家!

    for filename in os.listdir(directory):
        if filename.endswith(".parquet"):
            df = pd.read_parquet(directory).drop(["phone_count","desktop_count"], axis=1)
            df.set_index("query", inplace=True)

            if self.lowercase == "on":
                df.index = df.index.str.lower()
            else:
                pass
            if self.sensitive == "on":                            
                self.datafr = self.datafr.append(df.filter(regex=re.compile(self.query), axis=0))
            else:            
                self.datafr = self.datafr.append(df.filter(regex=re.compile(self.query, re.IGNORECASE), axis=0))            


self.datafr = self.datafr.groupby(['query']).sum().sort_values(by='total', ascending=False)

Answer 1

每个循环都会重复一些事情:

• 正则表达式模式不需要每次都重新编译
• 重复 DataFrame.append 比 pd.concat([frame1, frame2, ...]) 慢
• list.append 比 DataFrame.append 快很多

试试这个:

option = re.IGNORECASE if self.lowercase == "on" else 0
pattern = re.compile(self.query, option)
subframes = []

for filename in os.listdir(directory):
    if filename.endswith(".parquet"):
        df = pd.read_parquet(directory).drop(["phone_count","desktop_count"], axis=1)
        df.set_index("query", inplace=True)

        # Not sure if this statement is necessary. The regex
        # is already IGNORECASE when lowercase == "on"
        if self.lowercase == "on":
            df.index = df.index.str.lower()

        # Multiple list.append
        subframes.append(df.filter(pattern, axis=0))

# But a single pd.concat
self.datafr = pd.concat([self.datafr] + subframes)