linux - 使用 WGET 从网站/目录下载所有 .tar.gz 文件

标签 linux bash download wget

所以我正在尝试创建一个别名/脚本以使用 wget 从网站/目录下载所有特定扩展,但我觉得一定有比我想出的更简单的方法。

现在我通过搜索 Google 和手册页得到的代码是:

wget -r -l1 -nH --cut-dirs=2 --no-parent -A.tar.gz --no-directories http://download.openvz.org/template/precreated/

所以在上面的例子中,我试图从 OpenVZ 预先创建的模板目录下载所有的 .tar.gz 文件。

上面的代码工作正常,但我必须手动指定 --cut-dirs=2 这将删除通常会创建的/template/precreated/目录结构,它还会下载 robots.txt 文件。

现在这不一定是个问题,只删除 robots.txt 文件很容易,但我希望我只是错过了手册页中的一些内容,这些内容允许我在不指定要剪切的目录结构的情况下执行相同的操作出...

提前感谢您的帮助,非常感谢!

最佳答案

使用-R选项

-R robots.txt,unwanted-file.txt

作为您不想要的文件的拒绝列表(以逗号分隔)。

至于编写脚本:

URL=http://download.openvz.org/template/precreated/
CUTS=`echo ${URL#http://} | awk -F '/' '{print NF -2}'`
wget -r -l1 -nH --cut-dirs=${CUTS} --no-parent -A.tar.gz --no-directories -R robots.txt ${URL}

这应该基于您 URL 中的子目录。

关于linux - 使用 WGET 从网站/目录下载所有 .tar.gz 文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14489889/

相关文章:

c - 为什么 pthread 中需要线程特定数据?

linux - 从 ifconfig 输出中提取 MAC 地址

javascript - Protractor :步骤不一一执行

Java从重定向的 'friendly' url获取下载的文件名

c - 当 offset 递减传递给 mmap 时,mmap 调用失败

c - 为主线程设置栈

mysql - 如何访问安装在 Centos Linux 中的 SonarQube 服务器?

linux - 条件函数的 Makefile 用法

Bash 基于单个字段排序并基于另一个字段进行比较

python - 使用 Python,如何从 Google 文档中读取纯文本?