假设我有以下数据框:
idx = ['H',"A","B","C","D"]
idxp = idx[1:] + [idx[0]]
idxm = [idx[-1]] + idx[:-1]
idx, idxp, idxm
j = np.arange(25).reshape(5,5)
J = pd.DataFrame(j, index=idx, columns=idx)
np.fill_diagonal(J.values, 0)
J
作为输出,我想得到这样的数组:
- 下面矩阵的下半部分和对角线中到处都有零
- 矩阵上部的值是通过矩阵 J 对角线上方的数字计算得出的,因此向量 v = [1, 7, 13, 19]。
- 使用 v,将第一行计算为 v 的累积和: 从头到尾,得到[1,8,21,40]
- 利用v,计算第二行v从第二个索引到末尾的累加和,得到[7, 20, 39]
- 等等,直到到达 v 的最后一个索引
换句话说,这将为我们提供以下矩阵:
m_exp = np.array([[0,1,8,21,40],
[0,0,7,20,39],
[0,0,0,13,32],
[0,0,0,0,19],
[0,0,0,0,0],
])
到目前为止,我发现计算该矩阵的最佳方法是使用下面的代码:
travelup = np.array([np.pad(np.cumsum(J.values.diagonal(1)[n:]), (n+1,0), 'constant') for n in range(J.values.shape[0])])
然而,这涉及一个理解列表,实际上我的矩阵要大得多,并且该代码被调用数千次。
有没有办法通过使用映射来转换流程,使其更快,避免循环?
最佳答案
列出了一些方法。
我。基本方法
a = J.values
p = np.r_[0,a.ravel()[1::a.shape[1]+1]] # or np.r_[0,np.diag(a,1)]
n = len(p)
out = np.triu(np.broadcast_to(p,(n,n)),1).cumsum(1)
p
和 n
将在接下来列出的替代方案中重复使用。
A.替代方案#1
或者使用广播乘法
来获得最终输出 -
out = (~np.tri(n, dtype=bool)*p).cumsum(1)
B.替代方案#2
或者使用 cumsum 上的 outer-subtraction
-
c = p.cumsum()
out = np.triu(c-c[:,None])
C.替代方案#3
或者用np.tri
替换np.triu
-
out = (c-c[:,None])*~np.tri(n, dtype=bool)
c
将在接下来列出的替代方案中重新使用。
二.使用numexpr
对于大型数组,请通过 numexpr
利用多核。因此,替代方案是 -
import numexpr as ne
out = ne.evaluate('(c-c2D)*M',{'c2D':c[:,None],'M':~np.tri(n, dtype=bool)})
A.替代方案#1
out = ne.evaluate('(c-c2D)*(~M)',{'c2D':c[:,None],'M':np.tri(n, dtype=bool)})
B.替代方案#2
r = np.arange(n)
out = ne.evaluate('(c-c2D)*(r2D<r)',{'c2D':c[:,None],'r2D':r[:,None]})
关于python - 映射对角线,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58611604/