python - 减少计算时间和大型协方差矩阵的要求

Question

我目前正在尝试计算大约 30k 行矩阵的协方差矩阵(所有值都在 [0,1] 范围内)，并且它需要很长时间(我已经让它运行了一个多小时并且它还没有完成)。

我在较小的示例(7k 行矩阵)上注意到的一件事是，输出的值具有大量的有效数字(例如 ~10^32)，并且可能会减慢速度(并增加文件大小) - 是有什么办法可以限制这个吗？

我一直在一个简单的数据帧上使用 numpys 协方差方法:

import numpy as np
import pandas as pd
import sklearn as sk

df = pd.read_csv('gene_data/genetic_data25.csv')

df = df.set_index('ID_REF')
df = (df-df.min(axis = 0))/(df.max(axis = 0)-df.min(axis = 0))

cov = np.cov(df)

cov = pd.DataFrame(cov)

cov.to_csv('/gemnetics/cov_matrix.csv')

Answer 1

由于我对遗传学不熟悉，我将为您提供一般指南并希望它有效。 假设您的数据位于名为 X 的矩阵中，该矩阵为 30+k x 1k。您实际上并不需要对数据进行标准化(除非这对您来说不重要)，但要计算协方差，您必须将其居中。然后你可以计算正确的特征向量:

Xp=X-X.mean(axis=0,keepdims=True)
k=Xp.T @ Xp
ev,R=np.linalg.eigh(k)
ev=ev[::-1]
R=R[:,::-1]

此时您应该查看特征值，看看它们是否有突然下降(这是 Scree 方法)，我们将这个截止数称为 n。如果没有，那么您只需选择要保留的特征值百分比。 下一步是重建左特征向量:

L=X @ R[:,:n]

现在，R.T 告诉您哪些特征向量组合是重要的，而特征向量 (L) 是您的基因中最重要的组合。 我希望这会有所帮助。