javascript - 在 nodejs 中写入文件之前对数据流进行排序

Question

我有一个输入文件，它可能包含多达 1M 条记录，每条记录看起来像这样

字段 1 字段 2 字段3\n

我想读取这个输入文件并根据 field3 对其进行排序，然后再将其写入另一个文件。

这是我目前所拥有的

var fs = require('fs'),
    readline = require('readline'),
    stream = require('stream');

var start = Date.now();

var outstream = new stream;
outstream.readable = true;
outstream.writable = true;

var rl = readline.createInterface({
    input: fs.createReadStream('cross.txt'),
    output: outstream,
    terminal: false
});

rl.on('line', function(line) {
    //var tmp = line.split("\t").reverse().join('\t') + '\n';
    //fs.appendFileSync("op_rev.txt", tmp );
    // this logic to reverse and then sort is too slow
});

rl.on('close', function() {
    var closetime = Date.now();
    console.log('Read entirefile. ', (closetime - start)/1000, ' secs');
});

我基本上被困在这一点上，我所拥有的只是从一个文件读取并写入另一个文件的能力，有没有办法在写入之前有效地对这些数据进行排序

Answer 1

DB 和 sort-stream 是很好的解决方案，但是 DB 可能有点过头了，我认为 sort-stream 最终只是将整个文件排序到内存数组中(在 through 结束回调上)，所以我认为与原始解决方案相比性能大致相同。
(但我没有运行任何基准测试，所以我可能错了)。

所以，只是为了破解它，我会提出另一个解决方案:)

---

编辑: 我很想知道这会有多大的不同，所以我运行了一些基准测试。

结果甚至让我感到惊讶，事实证明 sort -k3,3 解决方案比原来的解决方案更好，快 x10 倍(简单的数组排序) , 而 nedb 和 sort-stream 解决方案至少比原始解决方案慢 x18 倍(即至少比 慢 x180 倍排序 -k3,3).

(请参阅下面的基准测试结果)

---

如果在 *nix 机器(Unix、Linux、Mac 等)上，您可以简单地使用
sort -k 3,3 yourInputFile > op_rev.txt 并让操作系统为您进行排序。
您可能会获得更好的性能，因为排序是 native 完成的。

或者，如果你想在 Node 中处理排序后的输出:

var util = require('util'),
    spawn = require('child_process').spawn,
    sort = spawn('sort', ['-k3,3', './test.tsv']);

sort.stdout.on('data', function (data) {
    // process data
    data.toString()
        .split('\n')
        .map(line => line.split("\t"))
        .forEach(record => console.info(`Record: ${record}`));
});

sort.on('exit', function (code) {
    if (code) {
        // handle error
    }

    console.log('Done');
});

// optional
sort.stderr.on('data', function (data) {
    // handle error...
    console.log('stderr: ' + data);
});

希望这会有所帮助:)

---

编辑:添加一些基准测试细节。

我很想知道这会有多大的不同，所以我运行了一些基准测试。

以下是结果(在 MacBook Pro 上运行):

• sort1 使用一种简单的方法，将记录排序在一个内存数组中。
  平均时间:35.​​6s(基线)

• sort2 按照 Joe Krill 的建议使用 sort-stream。
  平均时间:11.1m(大约 x18.7 倍慢)
  (我不知道为什么。我没有深入研究。)

• sort3 按照 Tamas Hegedus 的建议使用 nedb。
  时间:约16m(约慢27倍)

• sort4 仅通过在终端中执行 sort -k 3,3 input.txt > out4.txt 进行排序
  平均时间:1.2s(大约 x30 倍快)

• sort5 使用sort -k3,3，并处理发送到stdout的响应
  平均时间:3.65s(大约 x9.7 倍快)