php - 从需要登录的网站上抓取？

Question

如果可以，可以这样做吗？我想从 xbox.com 抓取数据，但我需要抓取的页面仅在成功登录后出现。

Answer 1

大多数登录表单都会设置一个 cookie。所以你应该使用像 Zend_Http 这样的 HTTP 类来存储它们以供进一步请求。它大概很简单:

$client = new Zend_Http_Client();
$client->setCookieJar();   // this is the crucial part for "logging in"

// make login request
$client->setUri("http://xbox.com/login");
$client->setParameterPost("login", "hackz0r");
$result = $client->request('POST');

// go scraping
...