我有一个 Tomcat 服务器和几个 Web 应用程序(webapp1、webapp2、...)。
sitemap.xml 和 robots.txt 文件应该放在哪里？
每个 Webapp 是否需要一个 sitemap.xml 文件和一个 robots.txt 文件？
要不要我把sitemap.xml和robots.txt分别放在:
"where_tomcat_is_installed/webapps/webapp1/",
"where_tomcat_is_installed/webapps/webapp2/",
...
我应该禁止 /WEB-INF/lib/ 吗？
如果不是，是否将以下内容放入robots.txt:
User-agent: *
最佳答案
robots.txt 需要位于根文件夹中，而不是嵌套在某些网络应用程序(或多个)中。它引用 sitemap.xml，因此该文件必须位于 robots.txt 声明的位置。没有机器人会检查 /some/path/to/robots.txt，它们只会检查 robots.txt
如果您在一台服务器上有多个网络应用程序，则必须将它们各自的配置合并到一个机器人/站点地图(好吧，每个都一个)文件中。
关于tomcat - 如果 Tomcat 服务器具有多个 Web 应用程序，则将 sitemap.xml 和 robots.txt 放在哪里，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34654249/