我有一个网站，该网站的目录包含100多个html文件。
我希望搜寻器搜寻该目录下的所有html文件。
我已经在robots.txt中添加了以下句子:
Allow /DirName/*.html$
有什么方法可以将文件包含在sitemap.xml文件的目录中，以便对该目录中的所有html文件进行爬网？
像这样:
<url>
<loc>MyWebsiteName/DirName/*.html</loc>
</url>
最佳答案
sitemap protocol既不限制也不允许使用通配符。老实说，这是我第一次听到这个消息。另外，我非常确定搜索引擎无法利用站点 map 中的通配符。
请查看Google对sitemap generators的推荐。您可以在瞬间创建大量站点 map 的工具。
关于sitemap - sitemap.xml文件中是否允许使用通配符？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3367456/