python - 如何生成大型网站的图形站点地图

Question

<分区>

Answer 1

创建站点地图的唯一自动方法是了解您站点的结构并编写基于该知识的程序。仅仅爬取链接通常是行不通的，因为链接可以位于任何页面之间，因此您可以获得图表(即节点之间的连接)。在一般情况下，无法将图转换为树。

所以你必须自己识别你的树的结构，然后爬取相关页面以获取页面的标题。

至于“但它只适用于3级”:三级绰绰有余。如果您尝试创建更多级别，您的站点地图将变得不可用(太大、太宽)。没有人愿意下载一个 1MB 的站点地图，然后滚动浏览 100'000 页的链接。如果您的网站增长到那么大，那么您必须实现某种搜索。