我们网站的一个部分呈现分页随机内容。新用户第一次访问该站点时，她会被分配一个新的随机种子，该种子传入 URL，并且为了持久性也存储在 cookie 中。问题是 URL 中的种子混淆了 Googlebot(和其他索引服务)；它提示有太多 URL 指向相同的内容。我们可以不在 URL 中传递种子，但即使我们只使用 cookie，在我看来，在某些时候我们必须决定访问者是索引蜘蛛还是人以非随机方式呈现内容。
我的主要问题是:在这种情况下检测最常见的索引蜘蛛并以非随机方式为它们提供内容有多糟糕？我知道搜索优化的首要规则是不优化，如果有的话，为用户优化，并确保内容对每个人都是一样的。但在这种情况下，我们实际上不会更改内容或隐藏任何内容。
有人遇到过同样的问题吗？处理此问题的最佳做法是什么？
最佳答案
这取决于网站结构，但您可能会受益于仅编辑您的 robots.txt 文件，让机器人远离可能令人困惑的 URL。另一种选择是生成 Google 站点地图(当我们说搜索引擎时，通常是指 Google)。
几个链接:
关于url - 谷歌机器人 : Too many distinct URLs pointing to identical content，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/949146/