我正在尝试使用三列的阈值过滤 Pandas 数据框
import pandas as pd
df = pd.DataFrame({"A" : [6, 2, 10, -5, 3],
"B" : [2, 5, 3, 2, 6],
"C" : [-5, 2, 1, 8, 2]})
df = df.loc[(df.A > 0) & (df.B > 2) & (df.C > -1)].reset_index(drop = True)
df
A B C
0 2 5 2
1 10 3 1
2 3 6 2
但是,我想在一个函数中执行此操作,其中列的名称及其阈值在字典中提供给我。这是我的第一次尝试,效果很好。本质上,我将过滤器放在 cond
变量中并运行它:
df = pd.DataFrame({"A" : [6, 2, 10, -5, 3],
"B" : [2, 5, 3, 2, 6],
"C" : [-5, 2, 1, 8, 2]})
limits_dic = {"A" : 0, "B" : 2, "C" : -1}
cond = "df = df.loc["
for key in limits_dic.keys():
cond += "(df." + key + " > " + str(limits_dic[key])+ ") & "
cond = cond[:-2] + "].reset_index(drop = True)"
exec(cond)
df
A B C
0 2 5 2
1 10 3 1
2 3 6 2
现在,最后我把所有东西都放在一个函数中,它停止工作(也许 exec
函数不喜欢在函数中使用!):
df = pd.DataFrame({"A" : [6, 2, 10, -5, 3],
"B" : [2, 5, 3, 2, 6],
"C" : [-5, 2, 1, 8, 2]})
limits_dic = {"A" : 0, "B" : 2, "C" : -1}
def filtering(df, limits_dic):
cond = "df = df.loc["
for key in limits_dic.keys():
cond += "(df." + key + " > " + str(limits_dic[key])+ ") & "
cond = cond[:-2] + "].reset_index(drop = True)"
exec(cond)
return(df)
df = filtering(df, limits_dic)
df
A B C
0 6 2 -5
1 2 5 2
2 10 3 1
3 -5 2 8
4 3 6 2
我知道 exec
函数在函数内部使用时的行为不同,但不知道如何解决该问题。另外,我想知道在给定两个输入的情况下,必须有一种更优雅的方法来定义一个函数来进行过滤:1)df
和 2)limits_dic = {"A": 0, "B”:2,“C”:-1}
。如果您对此有任何想法,我将不胜感激。
最佳答案
如果您尝试构建动态查询,有更简单的方法。这是使用列表推导和 str.join
的一个:
query = ' & '.join(['{}>{}'.format(k, v) for k, v in limits_dic.items()])
或者,在 python-3.6+ 中使用 f
-strings,
query = ' & '.join([f'{k}>{v}' for k, v in limits_dic.items()])
print(query)
'A>0 & C>-1 & B>2'
将查询字符串传递给df.query
,就是为了这个目的:
out = df.query(query)
print(out)
A B C
1 2 5 2
2 10 3 1
4 3 6 2
如果我的列名有空格或其他奇怪的字符怎么办?
从 pandas 0.25 开始,您可以将列名包含在反引号中,这样可以正常工作:
query = ' & '.join([f'`{k}`>{v}' for k, v in limits_dic.items()])
见 this Stack Overflow post了解更多。
如果您想为查询获取 bool 掩码,您也可以使用 df.eval
,然后索引变得简单:
mask = df.eval(query)
print(mask)
0 False
1 True
2 True
3 False
4 True
dtype: bool
out = df[mask]
print(out)
A B C
1 2 5 2
2 10 3 1
4 3 6 2
字符串数据
如果需要查询使用字符串数据的列,上面的代码需要稍作修改。
考虑(来自 this answer 的数据):
df = pd.DataFrame({'gender':list('MMMFFF'),
'height':[4,5,4,5,5,4],
'age':[70,80,90,40,2,3]})
print (df)
gender height age
0 M 4 70
1 M 5 80
2 M 4 90
3 F 5 40
4 F 5 2
5 F 4 3
还有列、运算符和值的列表:
column = ['height', 'age', 'gender']
equal = ['>', '>', '==']
condition = [1.68, 20, 'F']
这里适当的修改是:
query = ' & '.join(f'{i} {j} {repr(k)}' for i, j, k in zip(column, equal, condition))
df.query(query)
age gender height
3 40 F 5
有关 pd.eval()
系列函数、它们的特性和用例的信息,请访问 Dynamic Expression Evaluation in pandas using pd.eval() .
关于python - 动态过滤 Pandas 数据框,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45925327/