xml - 如何使用 nodejs 将可读流转换为有效的 JSON？

Question

我正在尝试使用音乐会数据的 ATOM 提要并将其输出到 JSON 以便更好地使用。

到目前为止，我一直在使用 request获取数据和feedparser解析它，它似乎按照我的意愿工作。

// data
var feed = 'http://mix.chimpfeedr.com/630a0-dcshows';
var wstream = fs.createWriteStream('data.json');

var req = request(feed);
var feedparser = new FeedParser({
        addmeta: false
    });

req.on('response', function(res) {
    var stream = this;
    if (res.statusCode != 200) return this.emit('error', new Error('Bad status code'));
    stream.pipe(feedparser)
});

feedparser.on('readable', function() {
    var stream = this;
    var item;

    // ... do some business work to get a `data` object

    wstream.write( JSON.stringify(data) + ',' );
});

这将写入一个文件，该文件实际上是这些数据对象的串联列表:

{
    object1
}, {
    object2
}, {
    etc
},

这很酷，但我希望将其包装在一个数组中，并且我希望最后一项后面没有逗号。我确信我有办法解决这个问题，但我认为我缺少流方法的核心概念以及实际发生的事情。

所以我的问题是:如何操作可读流 (XML) 并输出有效 JSON 数组？

Answer 1

您的方法的问题可能在于您在放入流中的每个 JSON 元素的末尾添加了逗号。这种方法失败了，因为您无法确定是否会有更多数据从阅读流中出来。

因此，更好的方法是在 JSON 元素的开头添加逗号，但前提是您之前已经处理过至少一个元素。对于这个问题，您可以有一个标志或一个变量来计算您已处理的元素数量，并根据它决定您是否正在处理第一个元素。

如果您在第一个元素处，则将 "[" 添加到流中，以表示数组的开头，然后将第一个元素添加到写入流中。如果您没有处理第一个元素，则意味着您在处理第二个、第三个或 n 个元素，在这种情况下，您首先添加一个逗号，然后添加您的元素。

最后，您在读取流中为 'end' 事件添加一个监听器，这样，当您到达数据末尾时您会收到通知，然后您可以添加结束写入流的括号 "]" 并完成一个有效的 json 数组。

我创建了这个示例的简化版本，使用了我硬盘中的一些本地数据。我很确定您可以根据自己的情况调整它。

var FeedParser = require('feedparser'),
    fs = require('fs'), 
    feed = __dirname+'/rss2sample.xml';

var ws = fs.createWriteStream('data.json');
var first = true;
fs.createReadStream(feed)
  .on('error', function (error) {
    console.error(error);
  })
  .pipe(new FeedParser())
  .on('error', function (error) {
    console.error(error);
  })
  .on('readable', function() {
    var stream = this, item;
    while (item = stream.read()) {
      if(first){
        ws.write('[');
        first = false;
      } else {
        ws.write(',');
      }
      ws.write(JSON.stringify(item));
    }
  })
  .on('end', function(){
    ws.write(']');
  });

这会生成一个有效的 json 文件。