Node.js 导入带有空白字段的 csv

Question

我正在尝试使用 csv-parse 包导入和解析 CSV 文件，但首先很难require csv 文件。

当我这样做时input = require('../../path-to-my-csv-file')

由于连续逗号，我收到错误，因为某些字段为空:

e","17110","CTSZ16","Slitzer™ 16pc Cutlery Set in Wood Block",,"Spice up
                                                                    ^
SyntaxError: Unexpected token ,

首先如何将 CSV 文件导入到 Node 环境中？

包示例为 Here

Answer 1

要解决您的第一个问题，请读取包含空条目的 CSV:

使用“fast-csv” Node 包。它将解析带有空条目的 csv。

回答你的第二个问题，如何将 CSV 导入 Node :

您并没有真正将 csv 文件“导入”到 Node 中。你应该 fs.open 该文件 或使用 fs.createReadStream 在适当的位置读取 csv 文件。

下面是一个使用 fs.createReadStream 解析名为“test.csv”的 CSV 的脚本，该 CSV 位于运行该脚本的脚本的上一级目录。

第一部分设置我们的程序，对将用于存储解析列表的对象进行基本声明。

var csv = require('fast-csv') // require fast-csv module
var fs = require('fs') // require the fs, filesystem module
var uniqueindex = 0 // just an index for our array
var dataJSON = {} // our JSON object, (make it an array if you wish)

下一部分声明一个流，该流将在从 CSV 文件读取数据时拦截数据并对其执行操作。在本例中，我们拦截数据并将其存储在 JSON 对象中，然后在流完成后保存该 JSON 对象。它基本上是一个拦截数据并可以用它做它想做的事情的过滤器。

var csvStream = csv() // - uses the fast-csv module to create a csv parser
.on('data',function(data){ // - when we get data perform function(data) 
  dataJSON[uniqueindex] = data; // - store our data in a JSON object dataJSON
  uniqueindex++ // - the index of the data item in our array
})
.on('end', function(){ // - when the data stream ends perform function()
  console.log(dataJSON) // - log our whole object on console
  fs.writeFile('../test.json', // - use fs module to write a file
  JSON.stringify(dataJSON,null,4), // - turn our JSON object into string that can be written
  function(err){ // function(err) only gets performed once were done saving the file and err will be nil if there is no error
    if(err)throw err //if there's an error while saving file throw it
    console.log('data saved as JSON yay!')
  })
})

本节从我们的 csv 文件创建所谓的“readStream”。文件的路径是相对的。流只是读取文件的一种方式。它非常强大，因为来自一个流的数据可以通过管道传输到另一个流中。 因此，我们将创建一个从 CSV 文件中读取数据的流，然后将其通过管道传输到第 2 部分中预定义的读取流/过滤器中。

var stream = fs.createReadStream('../test.csv')
stream.pipe(csvStream)

这将在 csv 解析脚本所在位置的上一级目录中创建一个名为“test.json”的文件。 test.json 将在 JSON 对象中包含解析后的 CSV 列表。此处代码出现的顺序就是它在您创建的脚本中应出现的顺序。