linux - 如何使用wget递归地获取一些带有模式的数据

Question

我正在尝试从此网站 ( http://nomads.ncep.noaa.gov/pub/data/nccf/com/hourly/prod/ ) 下载一些特定文件，它们保留 10 天的数据。我想从所有以“nam_pcpn_anal”开头的目录下载以“ST4”开头的所有文件。我可以从一个文件夹中下载所有以“ST4”开头的文件，例如:

wget -r -nd -N --no-parent -nH --cut-dirs=100 -P ~/test/ -A ST4* 'http://nomads.ncep.noaa.gov/pub/data/nccf/com/hourly/prod/nam_pcpn_anal.20160625/'

但我不知道如何递归搜索 ST4。我认为以下应该可行，但不行!

wget -r -nd -N --no-parent -nH --cut-dirs=100 -P ~/test/ -A ST4* --accept nam_pcpn_anal*/ST4* 'http://nomads.ncep.noaa.gov/pub/data/nccf/com/hourly/prod/'

任何想法!

Answer 1

wget manual显示:

   -I list
   --include-directories=list
       Specify a comma-separated list of directories you wish to follow
       when downloading.  Elements of list may contain wildcards.

所以，你可以试试:

wget -r -nd -N --no-parent -nH --cut-dirs=100 -P ~/test/ \
    -A 'ST4*' -I '*/nam_pcpn_anal.*' \
    'http://nomads.ncep.noaa.gov/pub/data/nccf/com/hourly/prod/'