当我在以下链接的网站爬虫和 XML 站点地图生成器工具上测试我的站点时，我发现了外部错误 408:
http://tools.seochat.com/tools/online-crawl-google-sitemap-generator/
我的网站名称如:www.MyWebsite.com
在此错误状态下，它向我显示了导致错误的创建链接，例如 www.MyWebsite.comhttp/。我不明白这个链接是如何创建的。它是一个 Asp.net 网站，也有一个 wordpress 博客。
谁能帮我找出解决方案？
非常感谢。
最佳答案
外部 408 错误通常是由您的站点超时引起的。你知道有什么原因会导致你的网站超时吗？还要确保 Robot.txt 文件中的爬虫没有限制。
关于asp.net - 如何解决抓取问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29789269/