我似乎无法在任何地方找到关于我是否应该禁止配置文件如 /php.ini 或隐藏文件如 /.htaccess 的答案？还有像 /includes 或 /includes/connect_to_database.php 这样的东西呢？
我已经在 ProWebmasters 和其他地方读到我们不应该 disallow:/*.js$ 或 /*.css$，但几乎所有这些答案快十年了。此外，robots.txt 的目的是确定索引的内容，而不是抓取的内容，不是吗？我的意思是，我们不希望爬虫试图索引我们的 css 和 js 文件。
即使是 Google 自己关于 robots.txt 的文档似乎也没有涵盖这些内容。有人知道网络上某处与此相关的信息资源吗？
谢谢
最佳答案
在网络浏览器和搜索蜘蛛(例如 Google Bot)中呈现整个页面所需的文件应该在 robots.txt 文件中可用。允许文件 css、js、图像 jpg、jpeg、png、字体。
PHP 加载的文件(include() 和 require()，例如 connect_to_database.php)和配置文件 (php.ini) 应该是公众无法访问的，并在 .htaccess 文件中被阻止。
关于.htaccess - Robots.txt、php.ini、connect_to_database.php、.htaccess，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/57365583/