具有缺失值的Python层次聚类

Question

我是 Python 新手。我想通过包含一些缺失值的 P 数据集对 N 执行层次聚类。我打算使用 scipy.cluster.hierarchy.linkage 函数，它采用压缩形式的距离矩阵。 Python 是否有计算缺失值包含数据的距离矩阵的方法？ (在 R dist 函数中自动处理缺失值......但 scipy.spatial.distance.pdist 似乎不处理缺失值!)

Answer 1

我找不到计算缺失值数据距离矩阵的方法。所以这是我使用欧几里德距离的天真解决方案。

import numpy as np
def getMissDist(x,y):
    return np.nanmean( (x - y)**2 )

def getMissDistMat(dat):
    Npat = dat.shape[0]
    dist = np.ndarray(shape=(Npat,Npat))
    dist.fill(0)
    for ix in range(0,Npat):
        x = dat[ix,]
        if ix >0:
            for iy in range(0,ix):
                y = dat[iy,]
                dist[ix,iy] = getMissDist(x,y)
                dist[iy,ix] = dist[ix,iy]
    return dist

然后假设 dat 是 N(= 案例数)乘以 P(=特征数)数据矩阵，缺失值然后可以对此 dat 执行层次聚类> 作为:

distMat = getMissDistMat(dat)
condensDist = dist.squareform(distMat)
link = hier.linkage(condensDist, method='average')