curl - 为什么 curl 在我的 Meteor 网站上有效，但 Google 似乎无法抓取我的网站？

Question

我刚刚使用 Meteor Up 部署了一个网站，我正在尝试确定我的网站是否可以被 Google 抓取。

当我执行

curl www.compmaker.com?_escaped_fragment_=

它返回包含所有文本的页面。此外，当我搜索“compmaker.com”作为搜索查询时，它似乎在描述中列出了我的网站和一些内容。

但是，在 Google 网站管理员中，当我转到 Fetch As Google 并按 Fetch and Render 时，HTML 中的内容丢失了。此外，Adsense 拒绝了我的网站，因为它看不到上面的任何文字。

所以我想知道，spiderable 真的有效吗？如果不是，为什么当我使用 curl 时我实际上可以看到 html 但谷歌却不能？

此外，如果我通过 Meteor Up 安装并且“setupPhantom”设置为 true，并且在我的 meteor 项目中将 spiderable 作为一个包，我还需要什么才能让 google 抓取我的 Meteor 站点？

我有一种感觉，也许 phantomjs 可能在一开始就工作，然后在某个时候停止工作(该网站的谷歌缓存副本是几天前的)而 curl 正在工作，因为我很快 -渲染。这是一个合理的解释吗？如果是这样，我该如何重新启动 phantomjs？

Answer 1

产生类似于您描述的症状的最常见问题是我们 (Google) 无法访问对渲染至关重要的资源。

在 Fetch and Render 中，您可以在页面底部看到在渲染过程中加载失败的资源。如果那里显示了一些内容，我会努力解决这些问题:确保服务器快速响应这些资源请求，并且它们不会被 robots.txt 阻止。