c++ - 将 std::string 编码/解码为 UTF-16

Question

我必须处理一种文件格式(读取和写入)，其中字符串以 UTF-16 编码(每个字符 2 个字节)。由于 ASCII 表中的字符很少在应用程序域中使用，因此我的 C++ 模型类中的所有字符串都存储在 std::string(UTF-8 编码)的实例中。

我正在寻找一个库(在 STL 和 Boost 中搜索但没有运气)或一组 C/C++ 函数来处理从文件格式加载或保存到文件格式时的这种 std::string <-> UTF-16 转换(实际上建模为字节流)包括代理对的生成/识别和所有 Unicode 内容(我承认我不是专家)...

有什么建议吗？谢谢!

编辑:忘了说它应该是跨平台的(Win/Mac)并且不能使用 C++11。

Answer 1

C++11 有这个功能:

std::string s = u8"Hello, World!";

// #include <codecvt>
std::wstring_convert<std::codecvt<char16_t,char,std::mbstate_t>,char16_t> convert;

std::u16string u16 = convert.from_bytes(s);
std::string u8 = convert.to_bytes(u16);

但是据我所知，到目前为止唯一具有此功能的实现是 libc++。 C++11 也有 std::codecvt_utf8_utf16<char16_t>其他一些实现有。具体来说，codecvt_utf8_utf16适用于 VS 2010 及更高版本，并且由于 Windows 使用 wchar_t 来表示 UTF-16，因此您可以将其用于 convert between UTF-8 and Windows' native encoding .

---

The specialization codecvt<char16_t, char, mbstate_t> converts between the UTF-16 and UTF-8 encoding schemes, and the specialization codecvt<char32_t, char, mbstate_t> converts between the UTF-32 and UTF-8 encoding schemes.

                                                                                                                         — [locale.codecvt] 22.4.1.4/3

---

哦，std::codecvt 特化具有 protected 析构函数，而 wstring_convert 需要访问析构函数，因此您确实需要一个适配器:

template <class Facet>
class usable_facet : public Facet {
public:
    using Facet::Facet; // inherit constructors
    ~usable_facet() {}

    // workaround for compilers without inheriting constructors:
    // template <class ...Args> usable_facet(Args&& ...args) : Facet(std::forward<Args>(args)...) {}
};

template<typename internT, typename externT, typename stateT> 
using codecvt = usable_facet<std::codecvt<internT, externT, stateT>>;

std::wstring_convert<codecvt<char16_t,char,std::mbstate_t>> convert;