python - Pandas 应用 - 返回多行

Question

我有两个数据框，我需要比较行的完整组合并返回符合条件的组合。这对于我们使用 Spark(使用交叉连接)的小型集群来说太密集了，所以我正在尝试这种方法，最终会看看 Dask 是否可以改进它。

如果表A和B是

a=pd.DataFrame(np.array([[1,2,3],[4,5,6]]), columns=['a','b','c'])

b=pd.DataFrame(np.array([[4,7,4],[6,5,1],[8,6,0]]), columns=['d','e','f'])

然后所有组合看起来像这样，其中计算 A-D。假设我只想保留 A-D >=-3

的行

A   B   C   D   E   F   A-D
1   2   3   4   7   4   -3
1   2   3   6   5   1   -5
1   2   3   8   6   0   -7
4   5   6   4   7   4   0
4   5   6   6   5   1   -2
4   5   6   8   6   0   -4

我试图通过应用来执行此操作，但似乎我无法从函数中返回多行 dataframe(该函数创建单行“A”和'B' 的整个表并返回符合条件的行。

这是我正在测试的功能:

def return_prox_branches(a, B, cutthresh):

    aa=a['a']-B['d']

    keep_B = B.copy().loc[(aa.values >= cutthresh),:]

    keep_B['A']=a['a']

    keep_B['B']=a['b']

    keep_B['C']=a['c']

    keep_B['A-D']=a['a']-keep_B['d']

    print(keep_B)

    return(keep_B)



a.apply(return_prox_branches, axis=1, args=(b,-3))





ValueError: cannot copy sequence with size 7 to array axis with dimension 1

实际上，这两个表有数百万行。

有没有办法在 pandas 中有效地进行这项工作？

Answer 1

有趣的方式!

在 Python 3.5 中以这种方式解包成为可能
https://www.python.org/dev/peps/pep-0448/#rationale

i, j = np.where(np.subtract.outer(a.a, b.d) >= -3)
pd.DataFrame({**a.iloc[i].to_dict('l'), **b.iloc[j].to_dict('l')})

   a  b  c  d  e  f
0  1  2  3  4  7  4
1  4  5  6  4  7  4
2  4  5  6  6  5  1

---

类似但不那么困惑

i, j = np.where(np.subtract.outer(a.a, b.d) >= -3)
a_ = a.values[i]
b_ = b.values[j]

d = pd.DataFrame(
    np.column_stack([a_, b_]),
    columns=a.columns.append(b.columns)
)

d

   a  b  c  d  e  f
0  1  2  3  4  7  4
1  4  5  6  4  7  4
2  4  5  6  6  5  1

---

在这两种情况下，我们都依赖于从 a.a 中减去 b.d。这将创建一个二维数组，其中包含从 a.a 的值中减去 b.d 的所有可能值。 np.where 查找差异为 >= -3 的坐标。我可以使用这些结果对原始数据帧进行切片并将它们放在一起。

---

纯(ish) Pandas

我怀疑你是否可以将它与 dask 一起使用

def gen_pseudo(d_):
    def pseudo(d):
        cols = d.columns.append(d_.columns)
        return d_.assign(**d.squeeze()).query('a - d >= -3')[cols]
    return pseudo

a.groupby(level=0).apply(gen_pseudo(b))

     a  b  c  d  e  f
0 0  1  2  3  4  7  4
1 0  4  5  6  4  7  4
  1  4  5  6  6  5  1

非封闭替代

def pseudo(d, d_):
    cols = d.columns.append(d_.columns)
    return d_.assign(**d.squeeze()).query('a - d >= -3')[cols]

a.groupby(level=0).apply(pseudo, d_=b)

---

理解

ja = a.columns.get_loc('a')
jb = b.columns.get_loc('d')

pd.DataFrame([
    np.append(ra, rb)
    for ra in a.values
    for rb in b.values
    if ra[ja] - rb[jb] >= -3
], columns=a.columns.append(b.columns))

   a  b  c  d  e  f
0  1  2  3  4  7  4
1  4  5  6  4  7  4
2  4  5  6  6  5  1