perl - 如何使用 Perl 的 WWW::Mechanize 登录和下载文件？

Question

我正在尝试使用 Perl 的 WWW::Mechanize 下载文件。我必须先登录网站，然后在验证表单后下​​载文件。

问题是，几个小时后，我没有成功地做我想做的事。最后，脚本保存一个文件，该文件不是 zip 文件，而是一个 html 文件，其中没有任何有趣的内容。

这是我完成的脚本:

use WWW::Mechanize;
use Crypt::SSLeay;

my $login = "MyMail";
my $password = "MyLogin";
my $url = 'http://www.lemonde.fr/journalelectronique/donnees/protege/20101002/Le_Monde_20101002.zip';

$bot = WWW::Mechanize->new();
$bot->cookie_jar(
    HTTP::Cookies->new(
        file           => "cookies.txt",
        autosave       => 1,
        ignore_discard => 1,
    )
);

$response = $bot->get($url);

$bot->form_name("formulaire");
$bot->field('login', $login);
$bot->field('password', $password);
$bot->submit();

$response = $bot->get($url);
my $filename = $response->filename;

if (! open ( FOUT, ">$filename" ) ) {
    die("Could not create file: $!" );
}
print( FOUT $bot->response->content() );
close( FOUT );

你能帮我找出我犯了什么错误吗？

Answer 1

当您使用浏览器而不是直接使用 URL 导航到下载时，我假设有一些隐藏的输入字段会被填充。

此外，他们通过 JavaScript 设置了一些 cookie，而这些 cookie 不会被 Mechanize 接收。但是，有一个插件WWW::Mechanize::Plugin::JavaScript这可能会帮助你(我没有这方面的经验)。

使用 LiveHTTPHeaders查看浏览器提交的内容并复制它(假设您没有违反他们的 TOS)。