python - 从层次聚类的不同级别获取标签

Question

我正在致力于实现集群自适应学习，如本文paper中所提议的那样。为了实现层次聚类，我使用了以下内容:

X = sp.hstack((title, abstract), format='csr')
Z = ward(X.todense())

如果这是为了创建像这样的树状图:

(摘自上述论文)

然后我可以使用以下行:

clusters = fcluster(Z, k=2, criterion='maxclust')

获取每个X所属的类(即图中的2或3)，表示为0或1。

如何拆分组，以便为​​每个 X 获取多个级别的标签。例如，如何从 2、4 和 9 或 3 获取每个 X 所属的类的列表， 5和6。

Answer 1

使用

fcluster(Z, height, criterion='distance')

其中 level 是一个整数 (0, 1, 2, ... )，表示 cophenetic distance允许在扁平簇内。

The cophenetic distance between two objects is the height of the dendrogram where the two branches that include the two objects merge into a single branch

这意味着:

• height = 0 不执行任何操作，您会得到单点簇，每个原始值对应一个。不太有用。
• height = 1 执行第一级合并，即原始条目之间的合并
• height = 2 执行二级合并，即一级集群之间的合并。

我在 10 个元素上生成了一些链接 Z 并运行

[fcluster(Z, height, criterion='distance') for height in range(5)]

为了说明这一点:

  [10,5, 3, 1, 6, 4, 7, 8, 9, 2]   <- level 0, everyone separate
  [6, 3, 2, 1, 3, 2, 4, 4, 5, 1]   <- 6 clusters
  [4, 3, 2, 1, 3, 2, 3, 3, 3, 1]   <- 4 clusters
  [3, 3, 2, 1, 3, 2, 3, 3, 3, 1]   <- 3 clusters
  [2, 2, 2, 1, 2, 2, 2, 2, 2, 1]   <- 2 clusters