我有一个包含大量产品和价格数据库的网站。
我经常被价格缠住。
我想用 <noscript> 来阻止它标签，但我能做的就是隐藏内容，机器人仍然可以抓取我的内容。
有没有办法运行 JS 测试以查看 js 是否被禁用(以检测机器人)并重定向这些请求，也许在黑名单中。
这样做会阻止谷歌浏览我的网站吗？
最佳答案
由于 CURL 只是一个 html 请求，您的服务器无法区分，除非您限制某些 url 的访问或检查 referrer url 并对任何未在本地引用的内容实现过滤器。可以在此处找到如何构建支票的示例:
关于javascript - 阻止来 self 的网站的 cURL 请求，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24103910/