令我恼火的是我还不明白这一点,但也许一些解释会有所帮助。这是一个由两部分组成的问题,但希望这两部分都很小并且直接相关:
显示
我们最近遇到了一个问题,即内容将 U+00a0
(不间断空格)字符插入到具有 latin1
字符集的数据库列中。只需执行 SELECT
即可在列中打印出“”。我不确定这是选择的产物还是显示器的产物,但我相信是前者。 SELECT BINARY col
而是打印出“”,因为我的 shell 有 $LANG = en_US.utf8
。
一个更明显的例子是“™”与“™”
使用 SELECT CONVERT(col USING utf8)
仍然打印出“”和“â„¢”——我不一定期望它会有所不同,但问题出在哪里?是存储时出现的问题吗?有没有办法从数据库中获取 UTF8 显示,而不是依赖 UI 来正确显示它(如果这有意义?)
存储
为了自己重现此问题,我执行了以下操作:
CREATE TABLE chrs (
lat varchar(255) charset latin1,
utf varchar(255) charset utf8
);
INSERT INTO chrs VALUES ('™', '™');
INSERT INTO chrs VALUES (' ', ' '); -- U+00a0
但是,这会导致:
> SELECT * FROM chrs;
+------+------+
| lat | utf |
+------+------+
| ™ | ™ |
| | |
+------+------+
我希望 lat
显示“”和“â„¢”,所以显然有些地方我不明白。
更重要的是:
> SELECT BINARY lat, BINARY utf FROM chrs;
+------------+------------+
| BINARY lat | BINARY utf |
+------------+------------+
| � | ™ |
| � | |
+------------+------------+
这表明值被错误地(?)存储到 lat
中。
我注意到 SELECT @@character_set_client
是 utf8
,所以我将其更改为 latin1
并再次插入空格,但这会产生
| Â | Â |
对于两个 列。 SELECT BINARY lat
正确显示空格,但 SELECT binary utf8
仍打印出“”。我希望 utf8
列能够更正确地工作。
总结:
- 当您插入字符时,MySQL 实际上对字符做了什么?它取决于列字符集、客户端集、两者还是其他因素?
- 是否有可能由于上述不匹配而在插入时搞砸数据?还是总是可以恢复最初插入的数据?
- 关于存储/显示,列上的
字符集
实际上做什么?
最佳答案
简而言之,您的数据库似乎没问题,除非您通过将 [@@character_set_client] 从 [utf8] 更改为 [latin1] 来明确告诉它表现异常。否则,我认为您会在其他地方看到使用 UTF-8 与 Windows-1252 的软件组件之间存在分歧的影响。
我们如何理解正在发生的事情?
首先,我们记得 in MySQL latin1 really means Windows-1252 ,一种与“Latin-1”本身略有不同的编码,后者也称为 ISO/IEC 8859-1。
现在让我们考虑以下有关商标符号和不间断空格的数据:
- 字符:“商标标志”
- Unicode 点:U+2122
- UTF-8 十六进制字节:E2 84 A2
- Latin-1 (ISO 8859-1) 十六进制字节:此编码中没有此字符的代码
Windows 1252 十六进制字节:8D
字符:“不间断空格”
- Unicode 点:U+00A0
- UTF-8 十六进制字节:C2 A0
- Latin-1 (ISO 8859-1) 十六进制字节:A0
- Windows 1252 十六进制字节:A0
出错的各种方式:
- 将商标符号 UTF-8 十六进制字节解释为 Windows 1252 字节所产生的字符: â „ ¢
- “带抑扬符的拉丁文小写字母 a”、“双低 9 引号”、“分号”
- 注意:对于 Windows-1252 定义为“双低位 9 引号”的十六进制字节 84,Latin-1 和 Unicode 根本没有解码。 Unicode 在远离那里的代码点编码“双低 9 引号”,U+201E。
- 将不间断空格 UTF-8 十六进制字节解释为 Windows 1252 字节产生的字符:Â [不间断空格]
- “带有抑扬符号的拉丁文大写字母 a”,“不间断空格”
- 将商标符号 Windows-1252 十六进制字节解释为 UTF-8 字节产生的字符:[无字符:平台的缺失字符标记显示,通常是问号符号的变体]
看起来,当您插入时,您的数据库将商标符号以“latin1”存储为十六进制字节 8D,以“UTF-8”存储为十六进制字节 E2 A4 A2。它将“latin1”中的不间断空格存储为十六进制字节“A0”,在 UTF-8 中存储为十六进制字节 C2 A0。当您以交互方式执行正常的 SELECT 时,“latin1”商标符号首先被转换为 Unicode 点 U+2122,然后转换为 UTF-8 十六进制字节 E2 84 A2,最终可能会被误解为 Windows-1252 字节。
在哪里可以找到上面显示的有关字符的数据:
关于mysql - 解释字符集如何影响存储/显示,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16220903/