假设我的根目录中有一个 robots.txt 文件,http://domain.com/robots.txt
,它在子文件夹中指定了一个站点地图,该站点地图有一个声明指向到站点地图索引:
robots.txt
Sitemap: http://domain.com/sub/sitemap_index.xml
还假设站点地图索引指向与子目录相同的 sitemap.xml
:
sitemap_index.xml
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>http://domain.com/sub/sitemap-1.xml</loc>
</sitemap>
</sitemapindex>
在站点地图规范中,明确指出站点地图只能指定当前文件夹或子文件夹中的URL。但是,这会改变我上面描述的场景吗?我问的原因是我知道 robots.txt 文件可以指向托管在完全不同域上的站点地图。如果这是可能的,那么子文件夹中的站点地图(但从根目录中的 robots.txt 指向)可以在根目录和所有子文件夹中指定 URL。
有人知道吗?
最佳答案
是的,它会在您上面提到的场景中发生变化。在上面的场景中,您的 Robot.txt 可以从任何子目录或主目录指向相同的域 url。
关于html - 如果 robots.txt 指向子文件夹中的站点地图,站点地图是否可以指定根目录中的 URL?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16535474/