unix - httrack 跟随重定向

标签 unix download automation httrack

我尝试从用户提供的 URL 开始递归镜像网页(当然存在深度限制)。 Wget 没有捕获来自 css/js 的链接,所以我决定使用 httrack .

我尝试镜像一些网站,如下所示:

# httrack <http://onet.pl> -r6 --ext-depth=6 -O ./a "+*"

该网站使用重定向 (301) 至 http://www.onet.pl:80 , httrack 只是 下载index.html页面:

<a HREF="onet.pl/index.html" >Page has moved</a>

仅此而已!当我运行时:

# httrack <http://www.onet.pl> -r6 --ext-depth=6 -O ./a "+*"

它满足了我的要求。

有没有办法让 httrack 遵循重定向?目前我只是将 "www."+url 添加到 httrack 的 URL,但这不是真正的解决方案(不涵盖所有用户案例)。 Linux下有没有更好的网站镜像工具?

最佳答案

在主 httrack forum一位开发商表示这是不可能的。

正确的解决方案是使用其他网络镜像工具。

关于unix - httrack 跟随重定向,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11917794/

相关文章:

c - mmap 的最小尺寸

linux - 修改子进程的输出以添加时间戳

asp.net - 通过 ASP.NET 远程文件下载损坏的文件

powershell - 自动化帐户链接到工作区 Azure

python - 如何以编程方式检查 Windows 计算机上打开的浏览器实例?

c++ - 无法使用 Fedora 中的 g++

string - 如何在unix中剪切特定字符后的字符串

javascript - 如何从 HTML blob : URL? 下载 mp4 视频

python - 在python中从网上下载一个excel文件

java - 这是什么错误 : at com. google.common.base.Preconditions.checkNotNull