我一直在上下寻找 Googlebot 及其 sibling 从“CA”以外的位置抓取的位置,但没有找到特定于抓取的位置。我找到了 2008 年的数据中心 map (http://bit.ly/mONhf9),我发现 Google 在其数据中心自称才华横溢,并附有精美的照片 (http://www.google.com/about/datacenters/)。
根据至少 3 年前的经验,我确实知道 ole' bot 也将来自 VA...但过去...什么都没有。
谁能帮忙解开这个谜语?我收集谷歌不想让我知道。
最佳答案
您的里程数会有所不同,但就我访问的最受欢迎的网站而言,抓取来自:
- 伊利诺伊州 (46.35%)
- 亚利桑那州 (15.68%)
- 威斯康星州 (14.95%)
- 弗吉尼亚 (11.85%)
- 加利福尼亚 (11.17%)
受到这些爬网攻击的 Web 服务器位于弗吉尼亚州的亚马逊。
在 map 上:http://www.chrisbrunner.com/2014/04/01/where-does-googlebot-crawl-from/ (我无法直接发布它,因为这是我的第一篇文章。)
同样,其他人会有不同的体验,但这是我们在 2014 年 3 月观察到的情况。
关于googlebot - Googlebot 从哪里抓取?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15147833/