php - 写入文件很慢

Question

所以，我有这个包含 435,453 行数据的数据库。我有 271 家不同的公司需要它的特定信息，所以我目前正在尝试通过使用 MySQL 查询选择所有数据来汇总它，这在 1.28 秒内返回所有行，很好。

然后我想遍历它们并根据每个公司将它们写入文件(使用fputcsv())。因此，我首先使用 fopen() 271 次来创建文件，然后对于每个返回的行，我查看哪些公司将在该行中包含数据并相应地写入文件。

现在，使用 memory_usage() 我可以看到在整个过程中内存使用量稳定在 6Mb。通过使用 microtime()，我为 while() 的每次迭代计时，这是我从数据库中读取的。

最终结果是每次迭代大约需要 0.00001 秒，因此对于数据库中的每一行，需要 0.00001 秒来确定哪些公司应该拥有每一行并将其写入这些文件。

但是有些事情搞砸了，因为 100 分钟后，该过程仍未完成，而 while() 每秒前进约 100 行。如果我的数学是正确的，遍历 435,453 行，每行需要 0.00001 秒，应该需要大约 4 秒。

这是代码，或者说花费了很长时间的部分:

$q=mysql_query(bq($query)) or print mysql_error();
while ($r=mysql_fetch_assoc($q)){
    $nr++;
    $now = microtime(true);
    if (($nr % 100) == 0 && $argv[1] == "debug"){
        print "$nr: " . fsize(memory_get_usage()) . ", time: " . sprintf("%.5f", ($now - $savetime)) . "\n";
    }
    foreach ($xsps as $xsp => $sites){
        if (!in_array($r["citynet"], $sites)) continue 1;
        $data = format_fields($r, $xsp);
        $values = array_values($data);
        $keys = array_keys($data);
        $linefeed = "\n";
        # TXT
        if ($nr == 1) fwrite($text[$xsp], join("\t", $keys) . $linefeed);
        fputcsv($text[$xsp], $values, "\t");
        # CSV
        if ($nr == 1) fwrite($csv[$xsp], join(";", $keys) . $linefeed);
        fputcsv($csv[$xsp], $values, ";");
    }
    $savetime = microtime(true);
}

每 100 行打印一次的输出看起来像这样:

12600: 6 Mb, time: 0.00000
12700: 6 Mb, time: 0.00000
12800: 6 Mb, time: 0.00000
12900: 6 Mb, time: 0.00001
13000: 6 Mb, time: 0.00000
13100: 6 Mb, time: 0.00000
13200: 6 Mb, time: 0.00000

所以，显然 - 我做错了什么？数字表明没有，怎么会花这么长时间？

编辑 所以，显然我的计算方式是错误的，所以我将其编辑为:

while ($r=mysql_fetch_assoc($q)){
    $nr++;
    $start = microtime(true);
    if (($nr % 100) == 0 && $argv[1] == "debug"){
        print "$nr: " . fsize(memory_get_usage()) . ", time: " . sprintf("%.5f", $processtime) . "\n";
    }
    ...
    $stop = microtime(true);
    $processtime = ($stop - $start);
}

现在它报告每一行需要 0.15 秒才能完成，这意味着整个过程需要 108 分钟。所以现在真正的问题是——为什么这么慢？是 fputcsv() 慢还是 PHP 慢？

Answer 1

我没有能力调试你的代码和你的数据库。

但我将从更改这个已弃用的 mysql_* 代码开始:

$q=mysql_query(bq($query)) or print mysql_error();
while ($r=mysql_fetch_assoc($q)){

此 PDO 版本如:

$dsn = 'mysql:dbname=testdb;host=127.0.0.1';
$user = 'dbuser';
$password = 'dbpass';

try {
    $dbh = new PDO($dsn, $user, $password);
} catch (PDOException $e) {
    echo 'Connection failed: ' . $e->getMessage();
}

$sth = $dbh->prepare($q);
$sth->execute();

$result = $sth->fetchAll(PDO::FETCH_ASSOC); // <-- this is important to get all records from mysql but not one by one
foreach($result  as $r) {