seo - Google 的 <noindex> 标签

Question

我想告诉谷歌不要索引页面的某些部分。在 Yandex(俄语 SE)中，有一个非常有用的标签，叫做 <noindex> . Google 如何做到这一点？

Answer 1

根据维基百科¹，一些蜘蛛遵循一些规则:

<!--googleoff: all-->
This should not be indexed by Google. Though its main spider, Googlebot,
might ignore that hint.
<!--googleon: all-->

<div class="robots-nocontent">Yahoo bots won't index this.</div>

<noindex>Yandex bots ignore this text.</noindex>
<!--noindex-->They will ignore this, too.<!--/noindex-->

不幸的是，他们似乎无法就单一标准达成一致——据我所知，没有什么可以阻止所有蜘蛛...

googleoff:评论似乎支持不同的选项，但我不确定哪里有完整的列表。至少有:

• all:完全忽略 block
• 索引:内容不会进入 Google 的索引
• anchor:链接的 anchor 文本不会与目标页面相关联
• 片段:文本不会用于为搜索结果创建片段

还要注意(至少对于 Google)这只会影响搜索索引，不会影响页面排名等。此外，Stephen Ostermiller在下面的评论中正确指出，googleon和 googleoff only work with the Google search appliance and have no effect on normal Googlebot ，不幸的是。

还有一篇关于 Yahoo 部分² 的文章(以及一篇描述 Yandex 也支持 <noindex> ⁶ 的文章)。关于googleoff:部分，另见 this answer , 以及那篇文章我拿了大部分相关资料。³

---

此外，Google Webmaster Tools建议使用 rel=nofollow用于特定链接的属性⁴(例如广告或指向机器人无法访问/无用的页面的链接，例如登录/注册)。这意味着 HTML a rel Attribute应该被谷歌机器人尊重——尽管这主要与页面排名有关，而不是与搜索索引本身有关。不幸的是，似乎没有 rel=noindex ^5,7。我也不确定这个属性是否也可以用于其他元素(例如 <DIV REL="noindex"> )；但除非爬虫遵守“noindex”，否则这也没有意义。

---

更多引用:

• How to Noindex parts of a web page?
• Excluding crawler from sections of pages (Spiderline 爬虫；你看，其他爬虫可能使用其他专有标记(另请参阅 AddSearch 爬虫)。我希望他们只是将 REL="noindex" 设为标准，而不是与任何 HTML 标记一起使用，例如 DIV/SPAN/P/A !)
• Preventing Google from indexing the contents of a div by reversing the string
• Methods for preventing search engines from indexing irrelevant content on a page

---

¹ Wikipedia: Noindex
² Which Sections of Your Web Pages Might Search Engines Ignore?
³ Tell Google to Not Index Certain Parts of Your Page
⁴ Use rel="nofollow" for specific links
⁵ Is it a good idea to use <a href=“http://name.com” rel=“noindex, nofollow”>name</a> ?
⁶ Using HTML tags — Yandex.Help. Webmaster
⁷ existing REL values