jdbc - UTF8mb4 unicode 破坏 MariaDB JDBC 驱动程序

Question

我有一些包含 unicode 字符的产品名称

⚠️📷PLEASE READ! WORKING KODAK DC215 ZOOM 1.0MP DIGITAL CAMERA - UK SELLER

heidiSQL 中的查询显示效果很好

今天早上我从 MySQL 迁移过来，设置了新的 MariaDB，但是当使用 MariaDB JDBC 通过 ColdFusion 查询检索记录时，我得到了

java.lang.StringIndexOutOfBoundsException: begin 0, end 80, length 74
    at java.base/java.lang.String.checkBoundsBeginEnd(String.java:3410)
    at java.base/java.lang.String.substring(String.java:1883)
    at org.mariadb.jdbc.internal.com.read.resultset.rowprotocol.TextRowProtocol.getInternalString(TextRowProtocol.java:238)
    at org.mariadb.jdbc.internal.com.read.resultset.SelectResultSet.getString(SelectResultSet.java:948)

productname 字段排序规则是 utf8mb4_unicode_520_ci，我尝试了几个选项。我尝试在表和数据库级别设置它。

ColdFusion 管理中的 JDBC 连接字符串为 jdbc:mysql://localhost:3307/usedlens?useUnicode=true&characterEncoding=UTF-8

我注意到从一开始就使用 MariaDB 的实时生产数据库我没有这个问题，但默认字符集是 latin1，并且数据库的记录相同

????PLEASE READ! WORKING KODAK DC215 ZOOM 1.0MP DIGITAL CAMERA - UK SELLER

Answer 1

以下是我们如何去除高位 ASCII 字符，同时保留任何可以挽救的字符:

string function ASCIINormalize(string inputString=""){
    return createObject( 'java', 'java.text.Normalizer' ).normalize( javacast("string", arguments.inputString) , createObject( 'java', 'java.text.Normalizer$Form' ).valueOf('NFD') ).replaceAll('\p{InCombiningDiacriticalMarks}+','').replaceAll('[^\p{ASCII}]+','');
}

productname = ASCIINormalize(productname);

/*
Comparisons using java UDF versus reReplace regex:

"ABC   Café ’test"  (note: High ASCII non-normal whitespace characters used.)
   ASCIINormalize = "ABC Cafe test"
   reReplace = "ABC Caf test"

"čeština"
   ASCIINormalize = "cestina"
   reReplace = "etina"

"Häuser Bäume Höfe Gärten"
   ASCIINormalize = "Hauser Baume Hofe Garten"
   reReplace = "Huser Bume Hfe Grten"
*/