<分区>
基本上，Google 正在尝试为成千上万篇看起来像这样的文章编制索引:
/questions/are-eggs-bad-for-you?page=69
由于我的分页和无限滚动，网址范围从 page=1 到 page=99。
如何在我的 robots.txt 文件中只包含 url 的 ?page= 部分，这样它就不会用页码索引任何内容？
不确定在这里问这个问题是否合适，但我很难找到答案。谢谢。
ruby-on-rails-4 - 在 robots.txt 中阻止 ?page=
最佳答案
对于谷歌，最好通过 google webmaster tools 来完成, 去 Crawl-> URL Parameters:
添加一个参数page，选择其效果为Paginate和Crawl only Value=1
阅读更多关于 Search Console Help - Learn the impact of duplicate URLs 的信息
关于ruby-on-rails-4 - 在 robots.txt 中阻止 ?page=，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34573097/