mysql - 解释字符集如何影响存储/显示

标签 mysql character-encoding

令我恼火的是我还不明白这一点,但也许一些解释会有所帮助。这是一个由两部分组成的问题,但希望这两部分都很小并且直接相关:

显示

我们最近遇到了一个问题,即内容将 U+00a0(不间断空格)字符插入到具有 latin1 字符集的数据库列中。只需执行 SELECT 即可在列中打印出“”。我不确定这是选择的产物还是显示器的产物,但我相信是前者。 SELECT BINARY col 而是打印出“”,因为我的 shell 有 $LANG = en_US.utf8

一个更明显的例子是“™”与“™”

使用 SELECT CONVERT(col USING utf8) 仍然打印出“”和“â„¢”——我不一定期望它会有所不同,但问题出在哪里?是存储时出现的问题吗?有没有办法从数据库中获取 UTF8 显示,而不是依赖 UI 来正确显示它(如果这有意义?)

存储

为了自己重现此问题,我执行了以下操作:

CREATE TABLE chrs (
    lat varchar(255) charset latin1,
    utf varchar(255) charset utf8
);
INSERT INTO chrs VALUES ('™', '™');
INSERT INTO chrs VALUES (' ', ' '); -- U+00a0

但是,这会导致:

> SELECT * FROM chrs;
+------+------+
| lat  | utf  |
+------+------+
| ™    | ™    |
|      |      |
+------+------+

我希望 lat 显示“”和“â„¢”,所以显然有些地方我不明白。

更重要的是:

 > SELECT BINARY lat, BINARY utf FROM chrs;
+------------+------------+
| BINARY lat | BINARY utf |
+------------+------------+
| �           | ™          |
| �           |            |
+------------+------------+

这表明值被错误地(?)存储到 lat 中。

我注意到 SELECT @@character_set_clientutf8,所以我将其更改为 latin1 并再次插入空格,但这会产生

|     |     |

对于两个 列。 SELECT BINARY lat 正确显示空格,但 SELECT binary utf8 仍打印出“”。我希望 utf8 列能够正确地工作。

总结:

  • 当您插入字符时,MySQL 实际上对字符做了什么?它取决于列字符集、客户端集、两者还是其他因素?
  • 是否有可能由于上述不匹配而在插入时搞砸数据?还是总是可以恢复最初插入的数据?
  • 关于存储/显示,列上的字符集实际上做什么

最佳答案

简而言之,您的数据库似乎没问题,除非您通过将 [@@character_set_client] 从 [utf8] 更改为 [latin1] 来明确告诉它表现异常。否则,我认为您会在其他地方看到使用 UTF-8 与 Windows-1252 的软件组件之间存在分歧的影响。

我们如何理解正在发生的事情?

首先,我们记得 in MySQL latin1 really means Windows-1252 ,一种与“Latin-1”本身略有不同的编码,后者也称为 ISO/IEC 8859-1。

现在让我们考虑以下有关商标符号和不间断空格的数据:

  • 字符:“商标标志”
  • Unicode 点:U+2122
  • UTF-8 十六进制字节:E2 84 A2
  • Latin-1 (ISO 8859-1) 十六进制字节:此编码中没有此字符的代码
  • Windows 1252 十六进制字节:8D

  • 字符:“不间断空格”

  • Unicode 点:U+00A0
  • UTF-8 十六进制字节:C2 A0
  • Latin-1 (ISO 8859-1) 十六进制字节:A0
  • Windows 1252 十六进制字节:A0

出错的各种方式:

  • 将商标符号 UTF-8 十六进制字节解释为 Windows 1252 字节所产生的字符: â „ ¢
    • “带抑扬符的拉丁文小写字母 a”、“双低 9 引号”、“分号”
    • 注意:对于 Windows-1252 定义为“双低位 9 引号”的十六进制字节 84,Latin-1 和 Unicode 根本没有解码。 Unicode 在远离那里的代码点编码“双低 9 引号”,U+201E。
  • 将不间断空格 UTF-8 十六进制字节解释为 Windows 1252 字节产生的字符:Â [不间断空格]
    • “带有抑扬符号的拉丁文大写字母 a”,“不间断空格”
  • 将商标符号 Windows-1252 十六进制字节解释为 UTF-8 字节产生的字符:[无字符:平台的缺失字符标记显示,通常是问号符号的变体]

看起来,当您插入时,您的数据库将商标符号以“latin1”存储为十六进制字节 8D,以“UTF-8”存储为十六进制字节 E2 A4 A2。它将“latin1”中的不间断空格存储为十六进制字节“A0”,在 UTF-8 中存储为十六进制字节 C2 A0。当您以交互方式执行正常的 SELECT 时,“latin1”商标符号首先被转换为 Unicode 点 U+2122,然后转换为 UTF-8 十六进制字节 E2 84 A2,最终可能会被误解为 Windows-1252 字节。

在哪里可以找到上面显示的有关字符的数据:

关于mysql - 解释字符集如何影响存储/显示,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16220903/

相关文章:

链接表的 PHP Mapper 模式

url - URL 中的奇怪字符

php - 使用 PHP 从 MySQL 数据库中获取特殊字符

mysql - LOAD DATA LOCAL INFILE 特殊情况

mysql - 找不到所请求的页面。 Joomla 3 网站

php - 在 PHP 中获取重命名的文件名

Java UTF-16 到 UTF-8 的转换

java - UTF8 和 jsp,试图了解发生了什么

java - Eclipse/Spring/Tomcat 6 的奇怪字符编码问题

c# - MySQL C# 查找某个最大距离内的 Lat Lon 条目