关闭。这个问题是off-topic .它目前不接受答案。
想改善这个问题吗? Update the question所以它是 on-topic对于堆栈溢出。
9年前关闭。
Improve this question
我的 robots.txt 文件的内容本身实际上已编入索引并显示在 Google 搜索结果中。例如,只有谷歌而不是雅虎。
我真的觉得谷歌应该懂不是 索引 内容 我的机器人文件,因为它只是告诉 Google 什么不索引! 我在这里错过了什么吗?
最佳答案
这是正常的。我的也被索引了几个月前。我认为这是爬虫的问题。 编辑:顺便说一句,您可以删除网站管理员工具网站上的链接。
关于robots.txt 内容本身是否已编入索引?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8048826/