php - 迁移 php 应用程序以处理 UTF-8

Question

我正在使用 php 开发多语言应用。

一切都很好，直到最近我被要求支持汉字。我采取的支持 UTF-8 字符的操作如下:

• 所有数据库表现在都是 UTF-8

• HTML 模板包含标签 <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />

• Controller 发出 header ，指定用于 HTTP 响应的编码 (utf-8)

一切都很好，直到我开始进行一些字符串操作(substr 之类)

对于中文它不会工作因为中文被表示为多字节因此如果你做一个普​​通的子字符串(substr)它会在分配的一个字节的中间切出一个“字母”并且f * ck up屏幕上的结果。

我通过在 Bootstrap 中添加这个解决了我所有的问题

mb_internal_encoding("UTF-8");

并替换所有 strlen , substr , strstr和他们的 mb_同行。

我还需要做些什么才能在 php 中完全支持 UTF-8？

Answer 1

它不仅仅是替换这些功能。

正则表达式

您应该将 utf8 标志添加到所有可以包含包含非 Ascii 字符的字符串的 PCRE 正则表达式，以便将模式解释为实际字符而不是字节。

$subject = "Helló";
$pattern = '/(l|ó){2,3}/u'; //The u flag indicates the pattern is UTF8
preg_match($pattern, substr($subject,3), $matches, PREG_OFFSET_CAPTURE);

您还应该使用 Unicode character classes如果您希望您的正则表达式对非拉丁字母正确，而不是标准的 Perl 表达式？

• \p{L} 而不是任何“字母”字符的\w。
• \p{Z} 而不是任何“空格”字符的\s。
• \p{N} 而不是\d 用于任何“数字”字符，例如Arabic numbers

有很多不同的 Unicode 字符类，其中一些对于习惯于阅读和书写拉丁字母的人来说是非常不寻常的。例如一些 characters combine with the previous字符来制作一个新的字形。关于它们的更多解释可以是read here .

虽然mbstring扩展里面有正则表达式函数，但是不推荐使用。标准 PCRE 函数可以很好地与 UTF8 标志配合使用。

函数替换

虽然您的列表只是一个开始，但到目前为止我发现需要用多字节版本替换的函数列表更长。这是函数及其替换函数的列表，其中一些未在 PHP 中定义，但可从此处的 Github as mb_extra 获得。 .

$unsafeFunctions = array(
    'mail'      => 'mb_send_mail',
    'split'     => null, //'mb_split', deprecated function - just don't use it
    'stripos'   => 'mb_stripos',
    'stristr'   => 'mb_stristr',
    'strlen'    => 'mb_strlen',
    'strpos'    => 'mb_strpos',
    'strrpos'   => 'mb_strrpos',
    'strrchr'   => 'mb_strrchr',
    'strripos'  => 'mb_strripos',
    'strstr'    => 'mb_strstr',
    'strtolower'    => 'mb_strtolower',
    'strtoupper'    => 'mb_strtoupper',
    'substr_count'  => 'mb_substr_count',
    'substr'        => 'mb_substr',
    'str_ireplace'  => null,
    'str_split'     => 'mb_str_split', //TODO - check this works
    'strcasecmp'    => 'mb_strcasecmp', //TODO - check this works
    'strcspn'       => null, //TODO - implement alternative
    'strrev'        => 'mb_strrev', //TODO - check this works
    'strspn'        => null, //TODO - implement alternative
    'substr_replace'=> 'mb_substr_replace',
    'lcfirst'       => null,
    'ucfirst'       => 'mb_ucfirst',
    'ucwords'       => 'mb_ucwords',
    'wordwrap'      => null,
);

MySQL

虽然您认为将字符类型设置为 utf8 会在 MySQL 中为您提供 UTF-8 支持，但事实并非如此。

它只支持最多 3 个字节编码的 UTF-8，即 Basic Multi-lingual Plane .然而，人们正在积极使用需要 4 个字节来编码的字符，包括大部分 Emoji characters ，也称为 Supplementary Multilingual Plane

要支持这些，您通常应该使用:

• utf8mb4 - 用于您的字符编码。
• utf8mb4_unicode_ci - 用于您的字符整理。

对于特定场景，有可能适合您的替代排序规则集，但通常坚持使用最正确的排序规则集。

您应该在 MySQL 配置文件中设置字符集和排序规则的位置列表是:

[mysql]
default-character-set=utf8mb4

[client]
default-character-set=utf8mb4

[mysqld]
init-connect='SET NAMES utf8mb4'
character-set-server=utf8mb4
collation-server=utf8mb4_unicode_ci

可能并非在所有情况下都需要 SET NAMES - 但它更安全，只是速度损失很小。

PHP INI 文件

虽然您说您已经在 Bootstrap 脚本中设置了 mb_internal_encoding，但最好在 PHP ini 文件中执行此操作，并设置所有推荐的参数:

mbstring.language   = Neutral   ; Set default language to Neutral(UTF-8) (default)
mbstring.internal_encoding  = UTF-8 ; Set default internal encoding to UTF-8
mbstring.encoding_translation = On  ;  HTTP input encoding translation is enabled
mbstring.http_input     = auto  ; Set HTTP input character set dectection to auto
mbstring.http_output    = UTF-8 ; Set HTTP output encoding to UTF-8
mbstring.detect_order   = auto  ; Set default character encoding detection order to auto
mbstring.substitute_character = none ; Do not print invalid characters
default_charset      = UTF-8 ; Default character set for auto content type header

帮助浏览器为表单选择UTF8

• 你需要设置accept-charset在您的表单上设置为 UTF-8，以告知浏览器以 UTF8 格式提交它们。

• 将 UTF8 字符添加到您的 form in a hidden field , 以阻止 Internet Explorer(5、6、7 和 8)以 UTF8 以外的形式提交表单。

杂项

• 如果您使用的是 Apache，请设置“AddDefaultCharset utf-8”

• 正如您所说的，只是为了提醒所有阅读答案的人，在标题中也设置元内容类型。

应该就是这样了。尽管“What Every Programmer Absolutely, Positively Needs To Know About Encodings And Character Sets To Work With Text”页面值得一读，但我认为它比use UTF-8 everywhere 更可取。因此不必花费任何精力来处理不同的字符集。