unicode - 如何在 Julia 中加载 UTF16 编码的文本文件？

Question

我有一个文本文件(很确定)是用 UTF16 编码的，但我不知道如何在 Julia 中加载它。我是否必须将其作为字节加载，然后使用 UTF16String 进行转换？ ?

Answer 1

最简单的方法是将其读取为字节，然后进行转换:

s = open(filename, "r") do f
    utf16(readbytes(f))
end

请注意 utf16还会检查字节顺序标记 (BOM)，因此它将处理字节序问题，并且不会在结果 s 中包含 BOM。 .

如果您真的想避免制作数据的副本，并且您知道它是 native 端序的，这也是可能的，但是您必须明确地编写一个 NUL 终止符(因为 Julia UTF-16 字符串数据在内部有一个 NUL 代码点在传递给期望以 NUL 结尾的数据的 C 例程的结尾):

s = open(filename, "r") do f
    b = readbytes(f)
    resize!(b, length(b)+2)
    b[end] = b[end-1] = 0
    UTF16String(reinterpret(UInt16, b))
end

但是，典型的 UTF-16 文本文件将以 BOM 开头，在本例中为字符串 s将包含 BOM 作为其第一个字符，这可能不是您想要的。