我有 Files.txt
,其中包含 Excel 文件的 URL 列表:
http://www.bcheadset.ca/applicant.xlsx
http://www.bcheadset.ca/fte.xlsx
http://www.iutox.org/TRTF_Matrix2012_Oct.xlsx
http://www.journalprices.com/2013_FinalSummaryForWeb.xlsx
http://www.camts.org/7__2013_Aircraft_Checklist.xlsx
http://www.nanotr11.org/poster_program.xlsx
http://www.vliruos.be/media/6352100/nss2015_annex_3_budget.xlsx
...
我想做的是下载(通过wget)大于10Mo
的文件。
要在下载之前验证文件是否大于 10Mo
,我们可以使用 curl --head
。例如,curl --head http://www.bcheadset.ca/fte.xlsx
返回
HTTP/1.1 200 OK
Content-Length: 3158847
Content-Type: application/vnd.openxmlformats-officedocument.spreadsheetml.sheet
Last-Modified: Mon, 27 Jul 2015 22:16:45 GMT
Accept-Ranges: bytes
ETag: "ffb49fecb9c8d01:c05"
Server: Microsoft-IIS/6.0
X-Powered-By: ASP.NET
Date: Tue, 06 Oct 2015 15:14:27 GMT
从 Content-Length
中,我们可以验证它是否大于 10Mo
。
我的问题是如何通过一段 Bash
或 Perl
自动执行此操作。特别是我不知道如何提取 Content-Length
并进行比较...
有人可以帮忙吗?
最佳答案
您可以使用 LWP
和 perl
并发送 HEAD
请求,获取响应 header 。像这样的事情:
#!/usr/bin/env perl
use strict;
use warnings;
use LWP;
use Data::Dumper;
my $request = HTTP::Request -> new ( HEAD => 'http://www.google.com' );
my $agent = LWP::UserAgent -> new;
my $response = $agent -> request ( $request );
print $response -> header ( 'Content-Length');
然后使用 LWP 执行 GET
而不是您想要该文件的 HEAD
。
关于bash - 下载大于一定大小的文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32973928/