我有一些地理定位代码,如果网站被机器人抓取,我希望以特定方式运行,例如谷歌等
有什么办法可以推断出这一点吗?
最佳答案
向搜索引擎爬虫和人类访问者呈现不同的内容 - 称为 cloaking - 是一件有风险的事情,如果被发现可能会受到搜索引擎的惩罚。
就是说,查看 this SO answer有几个链接到维护良好的“机器人列表”。您必须解析 USER_AGENT 字符串并将其与此类机器人列表进行比较。
关于asp.net - 检测您的站点是否正在被机器人访问,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2267599/