我使用 Apache 2 提供内容，Bing Bot 使用 HTTP/0.9 从我的服务器请求页面，该服务器不提供直接 IP 主机。
如果我不知道他们想要哪个主机，但仍然需要他们为我的网站编制索引，我应该如何处理蜘蛛？
我目前返回 400 Bad Request，但我的网站不会被 Bing 或 Yahoo 编入索引，这让我很紧张。
谢谢
最佳答案
[SOLVED]: I have been returning 400 Bad Request and Bing/Yahoo have taken the hint.
关于seo - 如果我使用的是 Apache 2，我应该如何处理使用 HTTP/0.9 的蜘蛛/网络爬虫？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10049028/