ruby-on-rails - 为什么 Google Bot Crawling 不存在 CSS 文件？

Question

Google Bot Crawler 一直在尝试抓取我的网站上不存在的 CSS 文件。

它要求:

http://www.mywebsite.com/assets/index-d45678283d4ab9905c3538184826e599.css

这个确切的文件名在生产中不存在(生产中的文件名略有不同)。

但是，它请求的 CSS 文件确实存在于开发中:

http://localhost:3000/assets/index-d45678283d4ab9905c3538184826e599.css

我不确定它为什么要这个文件。

在部署到生产环境之前，我使用 Capistrano(加载“部署/ Assets ”)来预编译我的 Assets 。

现在，我只是在 robots.txt 中阻止了这个文件，但它请求的 css 文件在每次部署后都会发生变化。

为什么 GoogleBot 要抓取这个在生产站点中不存在的文件？我该如何阻止？

Answer 1

GoogleBot 可能会看到以下两种情况之一:

它会在您网站上的某个地方看到该文件被错误引用的地方 - 即旧代码构建。我会在您的实时站点(捆绑)中搜索该文件。

它会记住先前构建中的该文件，并尝试检查它是否有更新。

令我困惑的是，在您的服务器发出 404 响应后，它不会忽略它，但是，Google 软件的内部工作原理是一个黑匣子；没有真正的方法可以说明为什么它会这样做。

也就是说，他们提供 Webmaster Tools Panel这允许您对其索引等进行一些自定义。