这是关于编写网络应用程序的一般性问题。
我有一个应用程序可以计算文章的页面浏览量以及我为我的客户安装的 url shortner 脚本。问题是，每当机器人访问网站时，它们往往会增加页面浏览量。
有没有人知道如何从这些应用程序的查看次数中消除机器人查看次数？
最佳答案
有几种方法可以确定您的文章是被实际用户浏览还是被搜索引擎机器人浏览。最好的方法可能是检查浏览器(或机器人)发送的 User-Agent header 。 User-Agent header 本质上是一个字段，用于标识用于访问资源的客户端应用程序。例如，Internet Explorer 可能会发送一些内容 Mozilla/5.0 (Windows; U; MSIE 7.0; Windows NT 6.0; en-US)。 Google 的机器人可能会发送类似于 Googlebot/2.1 (+http://www.google.com/bot.html) 的内容。可以发送伪造的 User-Agent header ，但我看不到普通站点用户或像 Google 这样的大公司这样做。如果它是空白或与商业机器人关联的常见用户代理字符串，则很可能是机器人。
在执行此操作时，您可能需要确保拥有最新的 robots.txt 文件。它是一个简单的文本文件，提供了自动机器人应该遵守的规则，即不允许检索哪些内容以编制索引。
这里有一些可能有用的资源:
关于seo - 如何防止我的应用程序将机器人请求作为 View 进行跟踪，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/2795957/