node.js - 如何捕获 node.js 中的 utf-8 解码错误？

Question

我刚刚发现 Node(已测试:v0.8.23，当前 git:v0.11.3-pre)ignores any decoding errors在其 Buffer 处理中，用 '\ufffd'(Unicode REPLACEMENT CHARACTER)默默地替换任何非 utf8 字符，而不是抛出有关非 utf8 输入的异常。因此，fs.readFile、process.stdin.setEncoding 和 friend 为您掩盖了一大类错误的输入错误。

没有失败但确实应该失败的示例:

> notValidUTF8 = new Buffer([ 128 ], 'binary')
<Buffer 80>
> decodedAsUTF8 = notValidUTF8.toString('utf8') // no exception thrown here!
'�'
> decodedAsUTF8 === '\ufffd'
true

'\ufffd' 是一个完全有效的字符，可以出现在合法的 utf8 中(如序列 ef bf bd)，因此它对 monkey-基于结果中显示的错误处理补丁。

再深入一点，看起来这源于 Node 只是服从 v8 的字符串，而那些又具有上述行为，v8 没有任何外部世界充满外部编码数据。

是否有 Node 模块或其他方式让我捕获 utf-8 解码错误，最好是关于在输入字符串或缓冲区中发现错误的上下文？

Answer 1

我希望你解决了那些年的问题，我有一个类似的问题并最终用这个丑陋的技巧解决了:

  function isValidUTF8(buf){
   return Buffer.compare(new Buffer(buf.toString(),'utf8') , buf) === 0;
  }

它来回转换缓冲区并检查它是否保持不变。

'utf8'编码可以省略。

然后我们有:

> isValidUTF8(new Buffer('this is valid, 指事字 eè we hope','utf8'))
true
> isValidUTF8(new Buffer([128]))
false
> isValidUTF8(new Buffer('\ufffd'))
true

其中 '\ufffd' 字符被正确地视为有效的 utf8。

更新:现在这也适用于 JXcore