Ajax生成内容、抓取和黑名单

我的网站使用ajax。

我有一个用户列表页面，它在 ajax 表中列出用户(带有分页和更多信息......)。

本页的网址是: /用户列表

用户列表由ajax创建。当用户点击一个用户时，他被重定向到一个页面，其 url 是:/member/memberName

所以我们在这里可以看到ajax是用来生成内容的，而不是用来管理导航的(带#字符)。

我想检测机器人来索引所有页面。

所以，在 ajax 中，我想显示一个带有分页的 ajax 表和很酷的 ajax 效果(更多信息...)，当我检测到一个机器人时，我想显示所有用户(没有分页)以及指向成员(member)页面的链接像这样:

<a href="/member/john">John</a><a href="/member/bob">Bob</a>...

你认为我可以用这种技术被列入黑名单吗？如果您这么认为，能否通过保持这些干净的 url 并且无需重新开发用户列表(不使用 ajax)来提供替代解决方案？

最佳答案

Google 支持使 AJAX 可抓取的规范:

我做了一个实验，它有效:

由于这是 Google 规范，您不会受到处罚(除非您滥用它)。

也就是说，目前只有 Google 支持它(AFAIK)。

此外，我相信遵循渐进增强的概念是更好的方法。也就是说，创建一个可用的 html 网站，然后使用 JavaScript 对其进行增强

关于Ajax生成内容、抓取和黑名单，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/5003952/