我的网站上有各种分页，我想阻止谷歌和其他搜索引擎抓取我的分页索引。
抓取页面示例:
http://www.mydomain.com/explore/recently-updated/index/12
如何使用 robots.txt 拒绝机器人抓取任何包含/index/的页面？
最佳答案
Disallow: /*?page=
Disallow: /*&page=
关于seo - 如何使用 robots.txt 阻止机器人抓取分页？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11477190/
相关文章：
使用分页创建 Spring 数据 JDBC 查询会提示 IncorrectResultSizeDataAccessException : Incorrect result size
java - 如何验证 Wicket 中 PageableListView 中的所有项目？
web-crawler - robots.txt中的 `Allow:/`和 `Disallow: `有什么区别？
seo - 为什么即使在指定 URL 之后 robot.txt 文件中也会出现这个错误？
c# - 根据当前 URL 生成 URL 并维护 QueryString
ruby-on-rails - 如何防止滥用爬虫爬取部署在 Heroku 上的 Rails 应用程序？
javascript - Open Graph 标签和 Nuxt.js(产品？)的问题
php - ci : google indexing address with index. php 但站点中没有与 index.php 的链接