php - 使用 PHP 脚本将 CSV 导入 MySQL

Question

我需要编写一个 PHP 脚本来获取包含 166 列(是的，166)和大约 20.000 行的 CSV 文件。我对 csv 文件没有决定。最重要的是，它们不是常规的 csv 文件。由于某种原因，这些文件中的分隔符是“;”而不是冒号。一些字段完全为空，在 csv 中表示如下:value1;;value3。

我已经有了包含匹配列的数据库和表，但还有一个额外的 id 列作为第一列。

我尝试过的:

让 LOAD DATA (LOCAL) INFILE 查询正常工作，但经过 15 小时的不懈尝试，我决定在这里提问。我正在使用的生产服务器是 UBUNTU 服务器中的常规 LAMP 堆栈，但在本地 XAMPP 安装中它根本无法工作。

我也试过将 csv 加载到一个数组中，然后循环遍历它，但 csv 从未正确修剪过。

即使 LOAD DATA INFILE 可以工作，我仍然会遇到数据库中的第 1 列设置为 auto_increment 的问题，我真的不想在 sql 查询中指定 166 列标题。

MySQL:

LOAD DATA INFILE 'D:/User Directories/Desktop/test.csv'
     INTO TABLE nwcatalogue
     FIELDS TERMINATED BY ';' OPTIONALLY ENCLOSED BY '"'
     LINES TERMINATED BY '\r\n'

PHP:

//I don't know ho to specify the delimiter for str_getcsv when used as 
//callback

$csv = array_map('str_getcsv', file('data.csv'));

LOAD DATA INFILE 有时运行没有错误，但没有插入任何记录。有时我会收到权限被拒绝的错误，而大多数情况下我会收到“重复键”或“超出范围”错误。该查询既不适用于 Windows 也不适用于 linux 文件系统。

PHP str_getcsv 函数(稍微)工作得更好，但值有时没有在正确的位置分隔。 e.G 我像这样在数组中获取值:

Array =>
[0] => 0;1;;;2;1;2;1
[1] => 0;4;;12;1;0;5
[2] => 5;1;1;;;1;2;;
[3] => 4;1;;;2;1;2;7

如果 2 个分号之间没有值，它应该只插入 NULL 作为值。

简而言之，我要么需要一个数组，其中每个值都有一个特定的键，以便我可以轻松地逐行遍历它，要么我需要让这个 LOAD DATA INFILE 查询正常工作。

我还拥有 web 服务器和 mysql 服务器的管理员权限。

Answer 1

试试这个:

<?php
        $query = <<<eof
            LOAD DATA INFILE 'D:/User Directories/Desktop/test.csv'
             INTO TABLE nwcatalogue
             FIELDS TERMINATED BY ';' OPTIONALLY ENCLOSED BY '"'
             LINES TERMINATED BY '\n'
            (fields_go_here)
        eof;

        $db->query($query);
        ?>

至于 CSV，尝试这样的事情:

function process_csv($file) {
   $file = fopen($file, "r");
   $data = array();
   while (!feof($file)) {
      $data[] = fgetcsv($file,null,';');
   }
   fclose($file);
   return $data;
}

然后只需调用 process_csv('D:/User Directories/Desktop/test.csv')