seo - 如何告诉 Google 机器人某些链接不再存在

标签 seo googlebot web-crawler

在网站的第一天,我在生成一些链接时犯了一个错误;遵循它们会输出数据库错误。

Google 机器人曾尝试跟踪这些链接,但现在它们在网站站长工具中显示为抓取错误。 尽管我已经更正了错误,但 Google 仍然尝试抓取它们。

如何告诉Google此类链接不再存在并且它们不会通往任何地方?我无法执行 301 重定向,因为这会表明链接有效并且可以为它们建立索引。

最佳答案

如果页面消失且没有逻辑替换,那么您通常应该返回 404 错误,但在这种情况下,我会考虑返回 410 Gone - 这表明该页面已被永久删除,永远不会返回,应从 Google 索引中清除。

可能值得在现有代码库中查找有问题的 URL,以确保不存在指向它们的链接。

至于301,301并不代表链接有效,301是永久移动的。这告诉谷歌,它过去在这里查找的页面现在位于其他地方,并将谷歌引导到新位置。从声音来看,不适用于您的情况,但与您描述的方式略有不同。

有关更多信息,请参阅http://en.wikipedia.org/wiki/List_of_HTTP_status_codes

关于seo - 如何告诉 Google 机器人某些链接不再存在,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4849507/

相关文章:

python - "Hashtable"用于 Python Twitter 爬虫

seo - 将同一个网站提供给多个域对 SEO 不利吗?

html - 链接上需要 href 吗?

jquery - Google Bot 错误地读取 Javascript

java - 网络爬虫性能

node.js - 如何抓取网络以查找围绕某个主题的链接/网站?

php - Kohana v3 路由 - 多个可选参数

node.js - 如何使用nextJs显示自定义410页面

android - App Indexing : Is using App Indexing API necessary for publishing deeplinks, 是否已被 Googlebot 提供访问权限?

.htaccess - 带有 $_GET 参数的单个 PHP 页面,对 SEO 不利吗?