我有多语言网站。实际上，网站语言是根据网络浏览器语言选择的。
有什么办法可以根据搜索引擎蜘蛛设置语言吗？例如:
为百度搜索引擎蜘蛛显示中文网站，
为 Yandex 蜘蛛显示俄语网站？
最佳答案
这叫做 crawler identification .当向您的网站发出请求时，User-Agent field包含有关浏览器或爬虫的信息。
根据不同的爬虫，该字段的值会有所不同。然后，您可以将不同的值与不同的语言相关联。您还可以查看 large list of user agents .
我仍然很确定这样做会降低您在搜索引擎中的排名，因为您对爬虫的响应与对真实用户的响应不同，但我没有可靠的引用资料支持这一说法。
在所有情况下，爬虫都应该收集不同语言的资源，并且那些爬虫知道如何处理多语言网站，但可能会尝试遵循所有最坏做法的爬虫除外。另外，您引用的搜索引擎不限于一种语言。 Yandex 可用于例如 Turkish .至于百度，According to Wikipedia , 它服务于中国、日本、泰国、埃及和印度。
关于search-engine - 如何为网站上的不同蜘蛛设置不同的语言？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8887669/