python - 如何检测双字节数字

Question

我必须检查以双字节字符编码的日语字符串(当然这些文件不是 Unicode 格式的，我必须将它们保留为 Shift-JIS 格式)。其中许多字符串包含的数字也是双字节字符 (１２３４５６７８９)，而不是标准的单字节数字 (0-9)。因此，搜索数字的常用方法将不起作用(在正则表达式中使用 [0-9]，或例如\d)。

我发现使其工作的唯一方法是创建一个元组并迭代字符串中的元组以查找匹配项，但是有更有效的方法吗？

这是我在搜索双字节数字时得到的输出示例:

>>> s = "２34"  # "2" is a double-byte integer
>>> if u"2" in s:
      print "y"

>>> if u"２" in s:
      print "y"

    y
>>> print s[0]

>>> print s[:2]
    ２
>>> print s[:3]
    ２3

如有任何建议，我们将不胜感激!

Answer 1

首先，评论是正确的:为了你的理智，你应该只在 Python 代码中使用 unicode，从进来的 Shift-JIS 解码，然后编码回 Shift-JIS(如果是这样的话)您需要输出:

text = incoming_bytes.decode("shift_jis")
# ... do stuff ...
outgoing_bytes = text.encode("shift_jis")

参见:Convert text at the border .

既然您已经正确地处理了unicode和编码字节串，那么使用正则表达式即可轻松获取“任何数字”或“任何双宽数字”:

>>> import re
>>> s = u"２34"
>>> digit = re.compile(r"\d", re.U)
>>> for d in re.findall(digit, s):
...     print d,
... 
２ 3 4
>>> wdigit = re.compile(u"[０-９]+")
>>> for wd in re.findall(wdigit, s):
...     print wd,
... 
２

如果您不熟悉 re.U 标志，它已记录在 here 中。 .