apache-spark - 在voppal wabbit中设置LDA模型的超参数

标签 apache-spark lda vowpalwabbit

我是一个典型的、普通的、日常的 Spark 用户。在 Spark's LDA有代表的超参数

docConcentration: Hyperparameter for prior over documents’ distributions over topics. Currently must be > 1, where larger values encourage smoother inferred distributions. topicConcentration: Hyperparameter for prior over topics’ distributions over terms (words). Currently must be > 1, where larger values encourage smoother inferred distributions.



这对应于文献中通常分配的 $\alpha$ 和 $\beta$ 参数(和 $k$ - 主题数),LDA 模型的对数似然函数在收敛过程中得到优化。

有谁知道在 vowpal wabbit's LDA 之前是否有任何选项可以设置此类参数/参数模型?

最佳答案

查询 this description of vw lda. !
我认为第 13 张幻灯片中提到的参数可能就是您要查找的参数。

关于apache-spark - 在voppal wabbit中设置LDA模型的超参数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31562017/

相关文章:

apache-spark - 如何在 PySpark 中过滤 MapType 中的键?

csv - 根据以下逻辑加载数据

python - LDA主题建模输入数据

hadoop - 限制 hadoop 数据集中的文件( block )数量?

vowpalwabbit - 解释 Vowpal Wabbit 的基本输出

scala - 使用带有结构序列的 Spark UDF

java - 集成 Spark 和 Spring Boot

apache-spark - Spark 2.1.1 : How to predict topics in unseen documents on already trained LDA model in Spark 2. 1.1?

r - 如何计算鸢尾花数据集上的混淆矩阵?

macos - Dylibs 和 OS X