我注意到我的网站排名没有以前那么高，当我检查网站管理员工具时，我发现gooblebot无法抓取我可以用浏览器完美抓取的页面，并且出现500错误。
这些网站不是WordPress，而是使用PHP。
是什么导致此问题？
这是WMT中的实际错误
HTTP/1.1 500 Internal Server Error
Date: Tue, 06 Nov 2012 21:04:38 GMT
Server: Apache
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Set-Cookie: PHPSESSID=blkss9toirna36p2mjl44htv01; path=/
Vary: Accept-Encoding
Content-Encoding: gzip
Content-Length: 3840
Connection: close
Content-Type: text/html
最佳答案
您可能使用.htaccess，robots.txt或其他某种方式(可能是防火墙设置？)阻止了Googlebot。
一种。不是很好
b。您应该使用WMT来获取抓取统计信息/抓取错误报告，并使用它们来更好地了解此问题(在什么URL/多久发生一次...)
另外，尝试查看您的上次Google缓存日期(直接搜索域，然后在预览窗口中单击“缓存”链接)
这可能是暂时的，与停机时间相关的问题，可以解决，或者是您需要更改的站点范围内的阻止规则。
GL
关于php - 在网站管理员工具中，googlebot从服务器获取抓取错误500，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13249258/