nlp - 在 NLP 应用程序中存储语言模型最有效的方式是什么?

标签 nlp n-gram language-model

他们通常如何存储和更新语言模型(例如 N-gram 模型)?什么样的结构是在数据库中存储这些模型最有效的方式?

最佳答案

语言模型中最常见的数据结构是 trieshash tables 。您可以看一下Kenneth Heafield's paper在他自己的语言模型工具包上KenLM有关他自己的软件和相关软件包使用的数据结构的更多详细信息。

关于nlp - 在 NLP 应用程序中存储语言模型最有效的方式是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29915993/

相关文章:

python - en_vectors_web_lg 和 Glove 向量之间的差异 (spaCy)

Python 从 URL 字符串中解析单词

python - NLTK 的 XMLCorpusReader 可以用于多文件语料库吗?

hadoop - 使用适度的资源对Google图书n-gram数据集进行处理的最可行的选择是什么?

用于中缀搜索的 Azure 搜索 N gram Tokenizer 配置

speech-recognition - 创建 50,000 字的 ARPA 语言模型文件

keras - 检查语言模型的复杂度

python - 索引聊天日志并在 Django 中搜索它们

java - 用 Java 创建自然 DSL 的最佳工具是什么?

python - 如何计算多个列表中 n 元语法的出现次数