我正在编写一个机器人,它可以检查数千个网站是否是英文的。
我正在使用 Scrapy(python 2.7 框架)抓取每个网站的首页,
有人可以建议我这是检查网站语言的最佳方法吗,
如有任何帮助,我们将不胜感激。
最佳答案
由于您使用的是 Python,因此可以试用 NLTK。更准确地说,您可以检查 NLTK.detect
更多信息和确切的代码片段在这里:NLTK and language detection
关于python网站语言检测,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11507279/