node.js - 可读的高水位有用性

标签 node.js stream

如果我们不在 _read() 方法中处理它,那么在实现可读流时,highWaterMark 是否有实用程序?

如果我理解正确,则程序员可以自行决定停止读取,如果他不这样做,则没有任何东西可以限制它(甚至管道)。

最佳答案

TL;DR:是的,但是这不是您需要担心的事情。 :)

你是对的,highWaterMark 对实际读取(或生成数据)没有任何影响,但它确实对 Readable.._read 有直接影响,或者更确切地说,它影响您从 Readable..push 获取的信息。因此,尽管您不需要也不应该在您的 _read 实现中包含任何基于它的逻辑 - 它确实有一个实用程序。

为了解释这一点,让我们从 Readable.._read 上的文档开始。 - 当流数据低于 _highWaterMark 时,理想情况下会在到达需要发出 drain 事件的点之前调用 _read。每当调用该方法时,它都会在实现调用 push 方法之前阻止进一步的调用。

所以你所说的,没有什么可以阻止你编写这个实现:

_read(sizeRequired) {
    const x = readLotsOfChunksDisregardingSizeRequired();
    x.forEach(chunk => this.push(chunk);
}

当然,这是事实,在某些情况下,如果您无法真正控制读取,那么这是可以接受的。不过,_highWaterMark 还用于在 push 方法中为您提供快速反馈信息。

因此,如果我们考虑另一种可以控制源的实现:

_read(numRequired) {
    while (true) { // I know, I know don't write while true's...
        const chunk = readASingleChunk();
        if (!this.push(chunk))
            return;
    }
}

在这种情况下,将在写入每个 block 后检查_highWaterMark机制,如果您确实达到highWaterMarkthis.push(chunk)将返回false,并且您的流将根据需要使用尽可能少的内存,并且还将继续以合理的速率流动。

请记住,您正在编写的实现可以以流式方式读取,它将通过管道传输到可写流。 highWaterMark 确保流不断流动,并且有效地使用用于保持该状态的内存。

关于node.js - 可读的高水位有用性,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52273452/

相关文章:

stream - 读取字节忽略 SBCL 灰色流中的 eof-error-p

java - 创建流而不是临时文件并使用它们并丢弃它们

node.js - 构建自定义 API 连接器的常见方法有哪些?

javascript - 使用哪个缩小模块?

node.js - 链接 Mongoose 查询的最佳方式

stream - 我如何每 N 秒从无界队列中提取消息并将它们生成到 Tokio 处理程序?

Java(处理)对象序列化

json - 找不到为 laravel windows 执行 gulp 的模块

node.js - AWS凭证错误:无法从任何提供程序加载凭证。 ElasticSearch服务node.js

c# - 放气流 : compress files while reading