seo - 使用 robots.txt 阻止来自搜索引擎的 100 多个 url

<分区>

我的网站上有大约 100 个页面，我不想在 google 中编入索引...有什么方法可以使用 robots.txt 来阻止它...编辑每个页面会非常烦人并添加 noindex 元标记....

我想阻止的所有 url 都像...

www.example.com/index-01.html

www.example.com/index-02.html

www.example.com/index-03.html

www.example.com/index-04.html .

. . .

www.example.com/index-100.html

不确定，但添加类似以下的内容是否可行？

User-Agent: *
Disallow: /index-*.html

最佳答案

Yes it will work using wildcard

Ref : "https://geoffkenyon.com/how-to-use-wildcards-robots-txt"

关于seo - 使用 robots.txt 阻止来自搜索引擎的 100 多个 url，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/44581887/

相关文章：

seo - 来自博主的 301 重定向选项