robots.txt - 当nmap扫描Robots.txt文件时, 'disallowed entry'是什么?

标签 robots.txt nmap

我一直在使用nmap扫描IP地址,输出的一部分是:

| http-robots.txt:1 个不允许的条目

这是什么意思?

| http-robots.txt:1 个不允许的条目

最佳答案

它是 robots.txt 文件中的一个条目,格式为 Disallow: X。这意味着至少某些用户代理已被指示不要请求这些 URI。它们的列表应列在您显示的行下方。您可以在robotstxt.org上阅读有关robots.txt标准和格式的更多信息。 .

关于robots.txt - 当nmap扫描Robots.txt文件时, 'disallowed entry'是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28422767/

相关文章:

adsense - robots.txt 允许 Adsense 机器人

python - 如何使用 Python 中的 ElementTree 从特定供应商的 XML 格式的 nmap 输出中获取 IP 地址

macos - Nmap 不检索 MAC 地址和供应商

c++ - 关于如何以编程方式与 nmap 集成的任何想法?

html - 如果 robots.txt 指向子文件夹中的站点地图,站点地图是否可以指定根目录中的 URL?

seo - 隐藏特定文件夹及其子文件夹和文件?

Wordpress - 带 block 的自定义页面 - 禁止 block 的google seo索引

shell - 仅从开放端口上的 nmap 扫描输出 IP

ruby-on-rails - 如何执行大量并发 ping?

seo - robots.txt 禁止使用哪些文件夹 - SEO?