indexing - 为什么 Google(或 Googlebot)会索引一个返回 500 错误的页面？

Googlebot 偶尔会使用错误的查询字符串参数为我们的网站之一编制索引。我不确定它是如何获取此查询字符串参数的(似乎没有任何网站通过错误链接链接到我们，并且我们网站中没有任何内容插入错误值)。如我们所料，错误的参数会导致站点抛出 500 错误。

我的印象是 Google 不会为返回 500 错误的页面编制索引，但事实证明确实如此。所以现在我有两个问题:

1) 为什么 Googlebot 会随机插入错误的查询字符串值？ (我真的不关心这个问题的答案，但如果我们能做些什么来避免这种情况，它就会解决我们的问题。)

2) 为什么 Google 会将返回 500 错误的页面编入索引？

这是 Googlebot 创建并已编入索引的错误链接之一:

错误的参数是 gb=baqhuxts。参数“gb”应该是一个整数。如果您从查询字符串中删除该参数，您应该会看到一个漂亮的目录页面。

关于 nofollow 和 robots.txt 解决方案:[已编辑]

我现在意识到我是个白痴并放置了一个元标记告诉搜索机器人为页面编制索引。那是一件愚蠢的事情。我正在删除那些。 W-(

如果你search on Google for 'baqhuxts'你会发现它已经用这个错误的参数索引了 10 个页面。但是这些页面中的每一个都返回 500 错误。有谁知道为什么 Google 认为这些是可以编入索引的有效页面？

最佳答案

这可能是因为您通过在您的元标记中包含以下内容来告诉 Google 将其编入索引:

<meta name="robots" content="index,follow">

尝试删除它! :)

关于indexing - 为什么 Google(或 Googlebot)会索引一个返回 500 错误的页面？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/1308905/