algorithm - 文档特征向量表示

Question

我正在构建一个文档分类器来对文档进行分类。

因此，第一步是将每个文档表示为用于训练目的的“特征向量”。

经过一些研究，我发现我可以使用 Bag of Words 方法或 N-gram 方法将文档表示为向量。

每个文档(扫描的 pdf 和图像)中的文本都是使用 OCR 检索的，因此有些单词包含错误。而且我之前不了解这些文档中使用的语言(不能使用词干提取)。

据我所知，我必须使用 n-gram 方法。还是有其他方法来表示文档？

如果有人可以将我链接到 N-Gram 指南以便更清楚地了解它并了解其工作原理，我将不胜感激。

提前致谢

Answer 1

1. 使用语言检测 获取文档的语言(我最喜欢的工具是 Tika 项目的 LanguageIdentifier，但还有许多其他工具可用)。
2. 使用拼写校正(有关详细信息，请参阅 this question)。
3. Stem 单词(如果您在 Java 环境中工作，则选择 Lucene)。
4. 收集所有N-grams(见下文)。
5. 通过从特定文档中提取 n 元语法来生成用于分类的实例。
6. 构建分类器。

N-gram 模型

N-gram 只是 N 项的序列。在按主题分类时，您通常使用单词的 N-gram 或其词根(尽管有基于字符的 N-gram 的模型)。最流行的 N-gram 是 unigrams(只是单词)、bigrams(2 个连续单词)和 trigrams(3 个连续单词)。所以，从句子

Hello, my name is Frank

你应该得到以下 unigrams:

[hello, my, name, is, frank] (or [hello, I, name, be, frank], if you use roots)

以下二元组:

[hello_my, my_name, name_is, is_frank]

等等。

最后，你的特征向量的位置(维度)应该与你所有文本中的单词一样多加上未知单词 1。实例向量中的每个位置都应该以某种方式反射(reflect)实例文本中相应单词的数量。这可能是出现次数、二进制特征(如果单词出现则为 1，否则为 0)、标准化特征 或 tf-idf (在按主题分类时很受欢迎)。

分类过程本身与任何其他域相同。