php - 如何在不超时的情况下解析大型 CSV 文件？

Question

我正在尝试解析一个 50 兆字节的 .csv 文件。该文件本身很好，但我正试图解决所涉及的大量超时问题。每项都设置为上传明智，我可以轻松上传并重新打开文件，但在浏览器超时后，我收到 500 内部错误。

我的猜测是我可以将文件保存到服务器上，打开它并保留我处理的行的 session 值。在某一行之后，我通过刷新重置连接并在我离开的那一行打开文件。这是一个可行的想法吗？之前的开发者做了一个非常低效的 MySQL 类，它控制了整个站点，所以如果没有必要，我不想自己写类，我也不想弄乱他的类。

TL;DR 版本: 保存我当前所在的最后一行 CSV 文件是否有效，该文件包含 38K 行产品，然后在 X 行后重置连接从我离开的地方开始？或者是否有另一种方法可以在没有超时的情况下解析大型 CSV 文件？

注意: 这是 PHP 脚本执行时间。目前在 38K 行，通过命令行运行大约需要 46 分 5 秒。当我将它从浏览器中删除时，它 100% 的时间都正常工作，这表明它是浏览器超时。据谷歌告诉我，Chrome 的超时是不可编辑的，而 Firefox 的超时很少起作用。

Answer 1

你可以这样做:

<?php

namespace database;

class importcsv
{
    private $crud;

    public function __construct($dbh, $table)
    {
        $this->crud = new \database\crud($dbh, $table);
        return $this;
    }

    public function import($columnNames, $csv, $seperator)
    {
        $lines = explode("\n", $csv);

        foreach($lines as $line)
        {
            \set_time_limit(30);
            $line = explode($seperator, $line);

            $data = new \stdClass();

            foreach($line as $i => $item) 
            {
                if(isset($columnNames[$i])&&!empty($columnNames[$i]))
                    $data->$columnNames[$i] = $item;
            }

            @$x++;

            $this->crud->create($data);
        }

        return $x;
    }

    public function importFile($columnNames, $csvPath, $seperator)
    {
        if(file_exists($csvPath))
        {
            $content = file_get_contents($csvPath);
            return $this->import($columnNames, $content, $seperator);
        }
        else
        {
            // Error
        }
    }
}

TL;DR:\set_time_limit(30); 每次循环遍历一行都可能会解决超时问题。