seo - 使用 robots.txt 限制动态 url 会提高我的 SEO 排名吗？

Question

我的网站有大约 200 篇有用的文章。由于该网站具有包含大量参数的内部搜索功能，因此搜索引擎最终会使用附加参数(例如标签、搜索短语、版本、日期等)的所有可能排列来抓取 url。这些页面中的大多数只是搜索结果列表与原始文章的一些片段。

根据 Google 的网站管理员工具，Google 仅抓取了 xml 站点地图中 200 个条目中的大约 150 个。看起来好像谷歌在上线多年后还没有看到所有的内容。

我计划在 robots.txt 中添加几行“Disallow:”，这样搜索引擎就不会再抓取那些动态 url。此外，我计划在网站管理员工具的“网站配置”-->“url 参数”部分中禁用一些 url 参数。

这会提高还是损害我当前的 SEO 排名？看起来我的网站好像丢失了数千个内容页面。

Answer 1

这正是canonical URLs是给。如果一页(例如文章)可以通过多个 URL 访问，那么您需要使用规范 URL 指定主要 URL。这可以防止出现重复内容问题，并告知 Google 在其搜索结果中显示哪个 URL。

所以不要屏蔽您的任何文章，您也不需要输入任何参数。只需使用规范 URL 就可以了。