seo - 新的 404 未找到索引页面将如何影响排名？

<分区>

我们遇到了这样一种情况，即我们所有的页面链接都被抓取并继续被抓取。页面链接包含“~/{someTerm}/{someOtherTerm}/__p/##/##”。

问题是，现在 Google 和 MSN 机器人都在抓取数以万计不需要抓取的页面，给系统造成了压力。

因此我们将分页链接更改为 Javascript 链接，并删除了所有包含“__p”的 URL，这样它们现在将返回 404 - 页面未找到。我们真的只希望第 1 页被编入索引，然后可能是一两页(但现在不担心)。

有没有一种方法可以使用 WebMasterTools for Google 和 MSNBot 删除 URL 中包含“__p”的所有页面，如果可以，怎么做？

谢谢。

最佳答案

我认为你应该使用 <meta>在您要从搜索引擎中删除的页面中添加标签。

<meta name="robots" content="noindex, nofollow" />

此外，您可以尝试使用 robots.txt 排除，看看这个 site

User-agent: *
Disallow: /*___p

关于seo - 新的 404 未找到索引页面将如何影响排名？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/11976515/

相关文章：

python - 如何在 Bottle 404处理程序上传递自定义HTML？