java - 如何从文档文本中过滤常用词？ ( HashMap )

Question

感谢您的阅读。我目前有一个我非常坚持的学校项目。目的是从网络上检索文档文本，然后将每个单词存储到 map 对象中，同时省略常用单词，例如“which、about、during、after”等。

本质上可以归结为:

//要忽略的单词列表

    Set<String> ignore = new HashSet<>(Arrays.asList(new String[]{
  "after", "which", "later", "other", "during", "their", "about"}));

//将遍历文档文本(内容)以查找附着的单词 到 word_pattern(为了简单起见，假设单词有 5 个或更多字母)

Matcher match = Pattern.compile(word_pattern).matcher(content);
while (match.find()) {
   String word = match.group().toLowerCase();

所以现在在这个 while 循环中，我希望跳过忽略集中的任何单词，否则将其添加到 map 对象中......但我似乎无法正确执行，似乎没有任何内容适合我。我可以轻松地将所有单词添加到 map 对象中并扣除一些分数，但我希望能够为了我的理智而正确地做到这一点。

Answer 1

您的忽略单词列表是 Set提供 contains方法让你 可以简单地在循环中添加这个条件:

if(!ignore.contains(word))
{
    //addToList
}