string - 是否有 UTF-16 字符串类型的 Rust 库？ (用于编写 Javascript 解释器)

Question

对于大多数程序，最好是use UTF-8 internally并在必要时转换为其他编码。但就我而言，我想编写一个 Javascript 解释器，只存储 UTF-16 字符串(或 u16 的数组)要简单得多，因为

1. 我需要单独处理 16 位代码单元(这通常是个坏主意，但 Javascript 需要这样做)。这意味着我需要它来实现 Index<usize> .

2. 我需要存储未配对的代理项，即格式错误的 UTF-16 字符串(因此，ECMAScript 字符串在技术上被定义为 u16 的数组，即 usually 表示 UTF-16 字符串)。有一种编码恰如其分地命名为 WTF-8以 UTF-8 格式存储未配对的代理，但我不想使用这样的东西。

我想拥有通常拥有/借用的类型(如 String/str 和 CString/CStr )以及所有或大多数常用方法。我不想推出自己的字符串类型(如果可以避免的话)。

此外，我的字符串将始终不可变，位于 Rc 之后并从包含指向所有字符串的弱指针的数据结构中引用(实现 string interning )。这可能是相关的:也许拥有 Rc<Utf16Str> 会更好作为字符串类型，其中 Utf16Str是未调整大小的字符串类型(可以定义为 struct Utf16Str([u16]) )。这将避免在访问字符串时遵循两个指针，但我不知道如何实例化 Rc使用未调整大小的类型。

鉴于上述要求，仅使用 rust-encoding 非常不方便，因为它处理所有非 UTF-8 编码 as vectors of u8 .

此外，我不确定 using the std library at all 可能对我有帮助。我调查了Utf16Units它只是一个迭代器，而不是正确的字符串类型。 (另外，我知道 OsString 没有帮助 - 我不在 Windows 上，它甚至没有实现 Index<usize> )

Answer 1

这里有多个问题，我尽量分开回答:

---

我想你想要的类型是[u16]和 Vec<u16> .

默认字符串类型str和 String是围绕 [u8] 的包装器和 Vec<u8> (技术上不是 str 是原始的，但足够接近)。具有不同类型的要点是保持底层字节在 UTF-8 中格式良好的不变性。

同样，你可以有 Utf16Str和 Utf16String围绕 [u16] 的类型和 Vec<u16>保留 格式良好的 UTF-16 不变量，即没有不成对的代理项。

但是正如您在问题中指出的那样，JavaScript 字符串可以包含不成对的代理项。那是因为 JavaScript 字符串不是严格的 UTF-16，它们实际上是 u16 的任意序列没有额外的不变量。

由于没有要维护的不变量，我认为包装器类型没有那么有用。

---

rust-encoding 支持基于字节的 UTF-16-LE 和 UTF-16-BE。您可能需要基于 u16 的 UTF-16而不是。

std::str::Utf16Units确实不是字符串类型。它是由 str::utf16_units() 返回的迭代器将 Rust 字符串转换为 UTF-16(不是 LE 或 BE)的方法。您可以使用 .collect()在那个迭代器上得到 Vec<u16>例如。

---

获得Rc<[u16]>的唯一安全方式是从Rc<[u16; N]>胁迫其大小在编译时已知，这显然是不切实际的。我不会推荐不安全的方法:分配内存，向其写入一个标题，希望与 RcBox 的内存表示相匹配。 , 和转化。

如果你打算用原始内存分配来做，最好使用你自己的类型，这样你就可以使用它的私有(private)字段。卷须这样做:https://github.com/servo/tendril/blob/master/src/buf32.rs

或者，如果您愿意承担额外间接费用，Rc<Vec<u16>>安全且容易得多。