url - Google 看到了它不应该看到的东西。为什么？

Question

出于某种神秘的原因，Google 已经将这两个指向同一页面的地址编入索引:

/something/some-text-1055.html

和

/index.php?pg=something&id=1055

(临时通知 - 该网站自推出以来一直有友好的网址，我不知道谷歌如何找到“index.php？”网址 - 只有内容管理系统中有“不友好”的网址，这是密码 -限制)

我该怎么做才能解决这个问题？ (我有大约 1000 个双索引页面。)有人告诉我使用“disallow: index.php?”在 robots.txt 文件中。 对还是错？还有其他建议吗？

Answer 1

您会惊讶于 Google 机器人在索引站点内容方面的普遍性和快速性。再加上许多 CMS 系统创建了非预期的页面/链接，很可能在某些时候这些链接被暴露是最有可能的罪魁祸首。也有可能您的管理区域并不像您想象的那么安全，Google 机器人就是通过这种方式获得的。

乖巧的，又google recommended , 这里要做的事情是

1. 如果可能，请创建从查询字符串样式 URL 到规范样式 URL 的 301 重定向。那就是你在说“嘿，网络机器人/浏览器，以前位于此 URL 的内容现在位于另一个 URL”

2. 阻止 robots.txt 中的查询字符串内容。这就像询问蜘蛛或其他自动化程序“嘿，请不要看这些东西。这些不是您要查找的 URL”

3. Google 显然 allows you to specify现在通过页面顶部的 标记生成规范的 URL。考虑添加这些内容。

至于做行为良好的事情是否是“正确”的事情，请回复:谷歌排名……谁知道呢。只有“谷歌”知道他们的算法现在和将来如何运作，我指的是一群工程师和高管，他们在搜索应该如何运作方面有着相互矛盾的目标。