我已经标记了二维数据。集合中有 4 个标签,我知道每个点与其标签的对应关系。我想,给定一个新的任意数据点,找出它具有 4 个标签中的每一个的概率。它必须属于一个且仅属于一个标签,因此概率之和应为 1。
到目前为止,我所做的是在与每个标签关联的数据点上训练 4 个独立的 sklearn GMM (sklearn.mixture.GaussianMixture
)。应该注意的是,我不希望训练具有 4 个组件的单个 GMM,因为我已经知道标签,并且不想以比我已知标签更糟糕的方式重新聚类。 (似乎有一种方法可以为 fit()
函数提供 Y=
标签,但我似乎无法让它工作)。
在上图中,点按其已知标签着色,等高线表示适合这 4 组点的四个独立 GMM。
对于一个新点,我尝试通过几种方式计算其标签的概率:
GaussianMixture.predict_proba()
:由于每个独立的 GMM 只有一个分布,因此这只会为所有模型返回 1 的概率。GaussianMixture.score_samples()
:根据文档,此函数返回“每个样本的加权对数概率”。我的程序是,对于一个新点,我从代表上述每个分布的四个独立训练的 GMM 中的每一个调用此函数四次。我在这里确实得到了半合理的结果——通常是正确模型的正数和三个不正确模型中每一个的负数,交叉分布边界附近的点的结果更加困惑。这是一个典型的明确结果:
2.904136, -60.881554, -20.824841, -30.658509
这个点实际上与第一个标签相关联,并且最不可能是第二个标签(离第二个分布最远)。我的问题是如何将上述分数转换为总和为 1 的概率,并准确表示给定点属于四个分布之一且仅属于其中一个的概率?鉴于这是 4 个独立的模型,这可能吗?如果没有,是否有另一种我忽略的方法可以让我根据已知标签训练 GMM,并提供总和为 1 的概率?
最佳答案
一般来说,如果你不知道分数是如何计算的,但你知道分数和概率之间存在单调关系,你可以简单地使用softmax函数来近似一个概率,带有一个可选的温度变量控制分布的尖峰度。
让 V
成为您的分数列表,让 tau
成为温度。然后,
p = np.exp(V/tau) / np.sum(np.exp(V/tau))
是你的答案。
PS:幸运的是,我们知道 sklearn GMM 评分是如何工作的,使用 tau=1
的 softmax 就是您的确切答案。
关于python - 将独立的 sklearn GaussianMixture 对数概率分数转换为总和为 1 的概率,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53484210/