python - 如何向量化双线性和二次形式的评估？

Question

给定任何n x n实系数矩阵A，我们可以定义一个双线性形式b子A : Rⁿ x R ⁿ → R 由

b_A(x, y) = x^TAy ,

和二次型 q_A : Rⁿ → R 由

q_A(x) = b_A(x, x) = x^TAx .

(对于二次型q_A的大多数常见应用，矩阵A是对称的，甚至是对称正定的，所以随意如果这对您的回答很重要，则假设是其中任何一种情况。)

(此外，FWIW、b_I 和 q_I(其中 I 是 n x n 单位矩阵)分别是标准内积和平方 L² -Rⁿ 上的范数，即 x^Ty 和 x ^Tx.)

现在假设我有两个 n x m 矩阵，X 和 Y，以及一个 n x n 矩阵 A。我想优化 b_A(x_,i , y_,i) 和 q_A(x_,i)(其中 x_,i 和 y_,i 表示分别是 X 和 Y 的第 i 列)，我推测，至少在某些环境中，例如 numpy、R 或Matlab，这将涉及某种形式的矢量化。

我能想到的唯一解决方案是生成具有维度的对角 block 矩阵 [X]、[Y] 和 [A] mn x m、mn x m 和 mn x mn ，分别与( block )对角线元素 x_,i, y_,i,和 A，分别。那么所需的计算将是矩阵乘法 [X]^T[A][Y] 和 [< em>X]^T[A][X]。这种策略绝对是毫无创意的，但如果有一种在时间和空间方面都有效的方法，我希望看到它。 (不用说，任何不利用这些 block 矩阵的稀疏性的实现都注定要失败。)

有没有更好的方法？

我偏爱的系统是 numpy，但根据其他一些支持高效矩阵计算的系统(例如 R 或 Matlab)的答案也可能没问题(假设我能弄清楚如何将它们移植到 numpy ).

谢谢!

<子> 当然，计算 X^TAY 和 X^TAX 的乘积将计算出所需的 b_A(x_,i, y_,i ) 和 q_A(x_,i)(作为结果 m x m 矩阵的对角线元素)，以及 O(m² ) 无关b_A(x_,i, y_,j) 和b_A(x_,i , x_,j), (i ≠ j), 所以这是不可能的。

Answer 1

这是 numpy 中的一个解决方案，应该可以满足您的需求:

((np.matrix(X).T*np.matrix(A)).A * Y.T.A).sum(1)

这对 X^T * A 进行矩阵乘法，然后逐元素数组乘法以乘以 Y^T。然后将所得数组的行相加以产生一维数组。