wordpress - 更改 Wordpress 站点中的 robots.txt 文件导致 SEO 困惑

Question

我最近使用 wordpress 插件编辑了我网站中的 robots.txt 文件。然而，由于我这样做了，谷歌似乎已经从他们的搜索页面中删除了我的网站。如果我能就为什么会这样以及可能的解决方案获得专家意见，我将不胜感激。我最初这样做是为了通过限制 google 访问的页面来提高我的搜索排名。

这是我在 wordpress 中的 robots.txt 文件:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

Sitemap: http://www.instant-wine-cellar.co.uk/wp-content/themes/Wineconcepts/Sitemap.xml

Answer 1

这是 WordPress 的一个很好的 robots.txt 指令。添加Allow: /wp-content/uploads如果您希望将上传的内容编入索引，但这没有意义，因为您的所有图片、pdf 等都包含在您的帖子和页面中并在那里编入索引。

User-agent: *
Allow: /
Disallow: /*?s=
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /wp-includes/*
Disallow: /wp-content/cache
Disallow: /wp-content/themes/*
Disallow: /trackback
Disallow: /comments
Disallow: /category/
Disallow: */trackback
Disallow: */comments

但最关键的信息是在您的页面源代码中:

<meta name='robots' content='noindex,nofollow' />

这意味着您在 Dashboard/Settings/Privacy 中设置了隐私，这会阻止所有搜索机器人，甚至在它们到达 robots.txt 之前。

一旦您获得了一个好的 robots.txt 文件并更改了 Wordpress 隐私设置，那么使用 Google 网站管理员工具并提高您的抓取速度以使 Google 更快地访问该网站。