html - 如果 robots.txt 指向子文件夹中的站点地图,站点地图是否可以指定根目录中的 URL?

标签 html sitemap robots.txt

假设我的根目录中有一个 robots.txt 文件,http://domain.com/robots.txt,它在子文件夹中指定了一个站点地图,该站点地图有一个声明指向到站点地图索引:

robots.txt

Sitemap: http://domain.com/sub/sitemap_index.xml

还假设站点地图索引指向与子目录相同的 sitemap.xml:

sitemap_index.xml

 <?xml version="1.0" encoding="UTF-8"?>
 <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <sitemap>
       <loc>http://domain.com/sub/sitemap-1.xml</loc>
    </sitemap>
 </sitemapindex>

在站点地图规范中,明确指出站点地图只能指定当前文件夹或子文件夹中的URL。但是,这会改变我上面描述的场景吗?我问的原因是我知道 robots.txt 文件可以指向托管在完全不同域上的站点地图。如果这是可能的,那么子文件夹中的站点地图(但从根目录中的 robots.txt 指向)可以在根目录和所有子文件夹中指定 URL。

有人知道吗?

最佳答案

是的,它会在您上面提到的场景中发生变化。在上面的场景中,您的 Robot.txt 可以从任何子目录或主目录指向相同的域 url。

关于html - 如果 robots.txt 指向子文件夹中的站点地图,站点地图是否可以指定根目录中的 URL?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16535474/

相关文章:

javascript - 给脚本添加隐藏参数

没有关联对象的 Django 站点地图(只是一个 View )

xml - 谷歌站点地图直接输入验证器

seo - 如果您直接 301 将站点地图托管在不同的域上,它会损害 SEO 吗?

python - robots.txt抓取延迟也适用于子页面吗?

jQuery 动画字体大小减小 : animate shrinking from all sides

video - HTML 5 视频拉伸(stretch)

html - CSS:悬停时着色圆形div?只在 div 后面着色?

seo - 我如何告诉谷歌不要完全抓取域

github - 如何停止 Google 索引我的 Github 存储库