第一个问题的答案是从抓取页面(从搜索引擎已经知道的页面)链接到网站。但是，如果您输入very_long_name_without_any_sense_123kni.com，我想它无论如何都会找到它。
第二个问题是关于文件夹的……如果你的根目录下有robots.txt，那就有点清楚了。但是，如果您的网站上没有 robots.txt，搜索引擎将如何找到所有允许访问的文件夹？
如果搜索引擎知道您的网站，但您的网站没有 robots.txt，那么需要多长时间才会出现在最流行的搜索引擎上？ 10 分钟后？ 1小时？ 1天？ 1周？绝不？如果您的网站没有被抓取(因为它受到保护)，那么让页面(应该受到保护)不 protected ，哪怕只有 1 分钟，会有多危险？
附注这些问题与如何使您的网站受欢迎并出现在首页等其他页面上的步骤无关...我只是好奇它的工作原理...
最佳答案
他们不能，也没有。
也就是说，他们可以根据已知的域名(该信息是可访问的)和这些域名的典型默认网站位置做出一些猜测。
关于security - 只是好奇(所以我知道它是如何工作的): how do search engines find web-sites (if no one knows it) and folders in it?，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7169072/