html - 编程扫描我的网站并查找链接到外部网站的所有页面

标签 html web-crawler

我想生成我的网站中链接到外部网站的所有网页的列表(包含 500 个页面及更多)。

在我开始尝试编写此代码之前,我想知道是否存在现成的东西,这样我就不会无缘无故地陷入所有麻烦。

如果您知道或使用过,请分享。

谢谢

最佳答案

对于链接检查,我使用 Xenu's Link Sleuth .

关于html - 编程扫描我的网站并查找链接到外部网站的所有页面,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7767232/

相关文章:

html - 如何使用 CSS 明智地拉伸(stretch)字体高度?

javascript - 如何为 JavaScript alert() 使用 Bootstrap 3 模态?

javascript - 在溢出 DIV 中滚动时执行 JavaScript 函数

python - Scrapy从论坛爬取数据

caching - 如何强制从搜索引擎索引中删除页面?

javascript - 单击时旋转/动画光标 -45 度?

javascript - 如何从JS中的输入标签中删除相似的字符?

python-3.x - 如何使用Beautifulsoup4检查父标签是否有名称不是 "div"的直接子标签

c# - 基于 C# 套接字的 HTTP

python-3.x - python中通过爬取子URL来下载文件