python - 网页字数统计

Question

我正在寻找一种方法来提取任意网站上单词的基本统计信息(总数、密度、链接计数、href)，最好是基于 Python 的解决方案。

虽然使用 BautifulSoup 等工具很容易解析特定网站并确定大部分内容在哪里，但它需要您在处理之前定义内容在 DOM 树中的位置。这对于 href 或任何任意标记来说很容易，但在确定其余数据(未包含在明确定义的标记中)的位置时会变得更加复杂。

如果我理解正确的话，Google(GoogleBot？)等使用的机器人能够从任何网站提取数据来确定关键字密度。我的情况类似，获取与定义网站内容的单词相关的信息(即删除 js、链接和填充符后)。

我的问题是，是否有任何库或 Web API 可以让我从任何给定页面获取有意义的单词的统计信息？

Answer 1

没有 API，但可能有一些库可供您将其用作工具。

你应该数出有意义的单词并按时间记录下来。

你也可以从这样的事情开始:

 string Link= "http://www.website.com/news/Default.asp";
        string itemToSearch= "Word";


        int count = new Regex(itemToSearch).Matches(Link).Count;
        MessageBox.Show(count.ToString());