googlebot - Googlebot 从哪里抓取?

标签 googlebot gis

我一直在上下寻找 Googlebot 及其 sibling 从“CA”以外的位置抓取的位置,但没有找到特定于抓取的位置。我找到了 2008 年的数据中心 map (http://bit.ly/mONhf9),我发现 Google 在其数据中心自称才华横溢,并附有精美的照片 (http://www.google.com/about/datacenters/)。

根据至少 3 年前的经验,我确实知道 ole' bot 也将来自 VA...但过去...什么都没有。

谁能帮忙解开这个谜语?我收集谷歌不想让我知道。

最佳答案

您的里程数会有所不同,但就我访问的最受欢迎的网站而言,抓取来自:

  • 伊利诺伊州 (46.35%)
  • 亚利桑那州 (15.68%)
  • 威斯康星州 (14.95%)
  • 弗吉尼亚 (11.85%)
  • 加利福尼亚 (11.17%)

受到这些爬网攻击的 Web 服务器位于弗吉尼亚州的亚马逊。

在 map 上:http://www.chrisbrunner.com/2014/04/01/where-does-googlebot-crawl-from/ (我无法直接发布它,因为这是我的第一篇文章。)

同样,其他人会有不同的体验,但这是我们在 2014 年 3 月观察到的情况。

关于googlebot - Googlebot 从哪里抓取?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15147833/

相关文章:

apache - 防止 googlebot 索引 robots.txt 和 .htaccess 中的文件类型

google-maps - 多个多边形的多边形算法中的点

php - PostGIS 中的聚类点

javascript - 谷歌地图或其他服务获取指定范围内的地点列表?

geometry - 如何最好地在一组纬度/经度坐标上执行走廊范围搜索

seo - 如何避免谷歌索引我的网站正在开发中完成

xml - 如何增加站点地图索引的数量

django - 在 Django 中,为搜索引擎蜘蛛禁用 @login_required

seo - 允许抓取外部 Javascript 文件

docker - 使用 docker-compose 运行 GeoNode