mysql - 如何在 MySQL 的 utf-8 列中识别语言

标签 mysql sql encoding utf-8 character-encoding

我的问题是如何从 MySQL 服务器的 utf-8 列中找到特定的字符集?

请注意,这不是重复问题,请仔细阅读所问内容,而不是您的想法。

目前 MySQL 确实与 utf-8 完美配合,并显示所有类型的不同语言,我在数据库中看到不同的语言没有任何问题。我使用 SQLyog 连接 MySQL 服务器,所有 SELECT 结果都是完美的,我可以看到西里尔文、日语、中文、土耳其语、法语、意大利语或阿拉伯语或任何类型的语言混合并完美显示。 my.ini 和脚本也经过完美配置并运行良好。

在这里How can I find non-ASCII characters in MySQL?我看到有些人回答了这个问题,他们的答案也非常适合查找非 ASCII 文本。但我的问题很相似,但略有不同。我想从 MySQL 服务器的 utf-8 列中找到特定的字符集。

假设,

select * from TABLE where COLUMN regexp '[^ -~]';

它返回所有非 ASCII 字符,包括西里尔字母、日语、中文、土耳其语、法语、意大利语、阿拉伯语或任何类型的语言。但我想要的是

SELECT * from TABLE WHERE COLUMN like or regexp'Japanese text only?'

换句话说,我只想选择日语编码的文本。目前我可以用它看到所有类型的语言;

select * from TABLE where COLUMN regexp '[^ -~]';

但我想选择日语、俄语、阿拉伯语或法语。怎么做?

数据库包含所有语言混合行和 UTF-8。我不确定在 MySQL Server 中是否可行?如果不可能,那么该怎么做?

非常感谢!

最佳答案

好吧,让我们从我放入 here 的表格开始.例如,它表示 E381yy 是平假名的 utf8 编码,而 E383yy 是片假名(日语)。 (汉字是另一回事。)

要查看 utf8 列是否包含片假名,请执行以下操作

WHERE HEX(col) REGEXP '^(..)*E383'

可能是西里尔文

WHERE HEX(col) REGEXP '^(..)*D[0-4]'

中文有点棘手,但这可能通常适用于中文(和汉字?):

WHERE HEX(col) REGEXP '^(..)*E[4-9A]'

(我将更改您的标题以避免关键字“字符集”。)

西欧(包括但不限于法语)C[23]、土耳其语(大约和其他一些)(C4|C59)、希腊语: C[EF],希伯来语:D[67],印度语等:E0,阿拉伯语/波斯语/波斯语/乌尔都语: D[89AB]。 (始终以 ^(..)* 为前缀。

您可能会注意到这些不一定非常具体。这是因为重叠。英式英语和美式英语只能通过几个单词的拼写来区分。几个重音字母在欧洲以各种方式共享。印度有许多不同的字符集:天城文、孟加拉文、古尔穆奇文、古吉拉特文等;这些可能是可区分的,但需要更多的研究。我认为阿拉伯语/波斯语/波斯语/乌尔都语共享一个字符集。

还有一些:

| SAMARITAN                     | E0A080        | E0A0BE        |
| DEVANAGARI                    | E0A480        | E0A5BF        |
| BENGALI                       | E0A681        | E0A7BB        |
| GURMUKHI                      | E0A881        | E0A9B5        |
| GUJARATI                      | E0AA81        | E0ABB1        |
| ORIYA                         | E0AC81        | E0ADB1        |
| TAMIL                         | E0AE82        | E0AFBA        |
| TELUGU                        | E0B081        | E0B1BF        |
| KANNADA                       | E0B282        | E0B3B2        |
| MALAYALAM                     | E0B482        | E0B5BF        |
| SINHALA                       | E0B682        | E0B7B4        |
| THAI                          | E0B881        | E0B99B        |
| LAO                           | E0BA81        | E0BB9D        |
| TIBETAN                       | E0BC80        | E0BF94        |

因此,对于梵文,'^(..)*E0A[45]'

关于mysql - 如何在 MySQL 的 utf-8 列中识别语言,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37063793/

相关文章:

sql - 替换字符串中的字符而不影响名称

sql - 如何删除名称为 ["app_id"的 Postgres 列]

C++:文件、编码和数据类型

php - OOPHP 连接两个数据库

mysql - Spring Data JPA 中的 MIN/MAX 函数与 Amazon Aurora DB(每组最大 n 次查询)

mysql - 尝试编写复杂的查询来检索数据

python - 是否需要在 scikit-learn 中对训练数据进行编码的输入进行编码?

Windows 上的 ruby​​ 1.9 错误文件编码

mysql - 在 mysql 中的 INSERT 查询中为 INT 类型列传递 ''(空),适用于某些配置,但不适用于其他配置

php - Mysql 联合命令不工作