如下图所示 Google WebMaster Tools robots.txt Tester 告诉我 9 个错误，但我不知道如何解决它，问题是什么？
请帮我弄清楚
最佳答案
这是一个有效的 robots.txt - 但你有一个 UTF-8 BOM (\xef\xbb\xbf)在文本文件的开头。这就是为什么第一行的“用户”旁边有一个红点。这个标记告诉浏览器和文本编辑器将文件解释为 UTF-8，而 robots.txt 应该只使用 ASCII 字符。
将您的文本文件转换为 ASCII，错误就会消失。或者复制红点后的所有内容，然后再次尝试粘贴。
我在在线版本上测试了这个，这是从字节形式翻译的结果:
\xef\xbb\xbfUser-agent: *\r\nDisallow: /en/news/iranology/\r\nDisallow:
/en/tours-services/tour-the-soul-of-iran\r\nDisallow:
/en/tours-services/tour-a-whistle-stop-tour\r\nDisallow: /en/to
一开始就可以清楚的看到BOM。浏览器和文本编辑器会忽略它，但它可能会干扰爬虫解析 robots.txt 的能力。您可以使用此 python 脚本测试实时版本:
import urllib.request
text = urllib.request.urlopen('http://www.best-iran-trip.com/robots.txt')
print(repr(text.read()))
如果您能够安装 Notepad++ , 它实际上有一个编码菜单，可以让你以任何格式保存它。
关于seo - 为什么 Google robots.txt Tester 有错误且无效，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39114878/