php - 如何使用 PHP 的 curl 库并行下​​载文件的多个部分?

标签 php multithreading curl download

我决定开始一个关于使用 curl_multi 函数在 PHP 中使用 curl 加速下载的项目。

这是我的代码:

set_time_limit(0);
error_reporting(E_ALL);
$fileurl = "http://hq-scenes.com/tv.exe";
$filename = basename($fileurl);
$size = getFileSize($fileurl);
$splits = range(0, $size, round($size/5));
$megaconnect = curl_multi_init();
$partnames = array();
for ($i = 0; $i < sizeof($splits); $i++) {
    $ch[$i] = curl_init();
    curl_setopt($ch[$i], CURLOPT_URL, $fileurl);
    curl_setopt($ch[$i], CURLOPT_RETURNTRANSFER, 0); 
    curl_setopt($ch[$i], CURLOPT_FOLLOWLOCATION, 0); 
    curl_setopt($ch[$i], CURLOPT_VERBOSE, 1);
    curl_setopt($ch[$i], CURLOPT_BINARYTRANSFER, 1);
    curl_setopt($ch[$i], CURLOPT_FRESH_CONNECT, 0);
    curl_setopt($ch[$i], CURLOPT_CONNECTTIMEOUT, 10);
    $partnames[$i] = $filename . $i;
    $bh[$i] = fopen(getcwd(). '/' . $partnames[$i], 'w+');
    curl_setopt($ch[$i], CURLOPT_FILE, $bh[$i]);
        $x = ($i == 0 ? 0 : $splits[$i]+1);
        $y = ($i == sizeof($splits)-1 ? $size : $splits[$i+1]);
        $range = $x.'-'.$y;
    curl_setopt($ch[$i], CURLOPT_RANGE, $range);
    curl_setopt($ch[$i], CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.29 Safari/535.1");
    curl_multi_add_handle($megaconnect, $ch[$i]); 
}

$active = null;

do {
    $mrc = curl_multi_exec($megaconnect, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);

while ($active && $mrc == CURLM_OK) {
    if (curl_multi_select($megaconnect) != -1) {
        do {
            $mrc = curl_multi_exec($megaconnect, $active);
        } while ($mrc == CURLM_CALL_MULTI_PERFORM);
    }
}
$final = fopen($filename, "w+");
for ($i = 0; $i < sizeof($splits); $i++) {
    $contents = fread($bh[$i], filesize($partnames[$i]));
    fclose($bh[$i]);
    fwrite($final, $contents);
}
fclose($final);

function getFileSize($url) {
    $ch = curl_init($url);
    curl_setopt($ch, CURLOPT_NOBODY, true);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_HEADER, true);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    $h = fopen('header', "w+");
    curl_setopt($ch, CURLOPT_WRITEHEADER, $h);

    $data = curl_exec($ch);
    curl_close($ch);

    if (preg_match('/Content-Length: (\d+)/', $data, $matches)) {
        return $contentLength = (int)$matches[1];
    }
    else return false;
}

一切顺利,除了一件事:

最后一个零件文件没有到达文件末尾。 实际文件大小为:3279848 字节

范围是:

0-655970
655971-1311940
1311941-1967910
1967911-2623880
2623881-3279848

部分文件大小

tv.exe0 655360
tv.exe1 655360
tv.exe2 655360
tv.exe3 655360
tv.exe4 655360

这使得最终文件的长度为 3276800 字节,但它必须为 3279848 字节。 当然,可执行文件不起作用:(

请注意,零件文件的大小相同。即使是最后一个,也应该有更多的字节。所以问题出在下载范围什么的,而不是在合并过程中。

我做错了什么?

最佳答案

我建议你在 fclose($final); 之后添加这个来删除不再需要的文件部分!

foreach($partnames as $files_to_delete){ 
    unlink($files_to_delete); 
}

关于php - 如何使用 PHP 的 curl 库并行下​​载文件的多个部分?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7099952/

相关文章:

php - 下载页面而不是通过 SSL 呈现

php - 将 4 个字节转换为 32 位无符号整数

c++ - QThread 奇怪的行为

multithreading - 在 amd64 上拆分堆栈是不必要的

linux - 如何在 Shell 中使用 CURL 在支持 CSRF 的网站上通过 https 上传文件?

PHP cURL 与 file_get_contents

php - 你能有一个设置为数组的 PHP $_POST 变量吗?

php - Netbeans PHP 函数参数提示

缩放线程运行时的 C++ 并发问题

python - 将此 curl 命令转换为 Python 3