我无法理解 Andrew Ng 的 CS229 笔记中给出的 GDA 似然函数。
l(φ,μ0,μ1,Σ) = log(从 i 到 m 的乘积){p(x(i)|y(i);μ0,μ1,Σ)p(y(i);φ) }
链接是http://cs229.stanford.edu/notes/cs229-notes2.pdf第 5 页。
对于线性回归，函数是从 i 到 m p(y(i)|x(i);theta) 的乘积 这对我来说很有意义。 为什么这里有一个变化，说它是由 p(x(i)|y(i) 给出并乘以 p(y(i);phi) 给出的？ 提前致谢
最佳答案
第 5 页的起始公式是
l(φ,µ0,µ1,Σ) = log <product from i to m> p(x_i, y_i;µ0,µ1,Σ,φ)
暂时忽略参数φ,µ0,µ1,Σ，可以简化为
l = log <product> p(x_i, y_i)
使用链式法则，您可以将其转换为任一
l = log <product> p(x_i|y_i)p(y_i)
或
l = log <product> p(y_i|x_i)p(x_i).
在第 5 页的公式中，φ 被移至 p(y_i)，因为只有 p(y) 依赖于它。
似然度以联合概率分布p(x,y)开始，而不是条件概率分布p(y|x)，这就是GDA被称为的原因生成模型(从 x 到 y 以及从 y 到 x 的模型)，而逻辑回归被认为是一种判别模型(从 x 到 y 的单向模型)。两者都有各自的优点和缺点。下面似乎有一章关于此内容。
关于machine-learning - GDA(高斯判别分析)的对数似然函数，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32424497/