python-2.7 - 从 Python 文本文件中的字符串中删除 '\x'

Question

这是我第一次在 Stack 上发帖。如果有人能帮助我解决这个问题，我将不胜感激。

我正在尝试从包含以下内容的文本文件中删除 Unicode 字符(在我的例子中为 \x3a):

10\x3a00\x3a00

最终输出应该是:

100000

基本上，我们被指示删除 \xXX 的所有痕迹，其中 X 可以是以下任何一个: 0123456789ABCDEF 。我尝试使用正则表达式如下删除任何 \xXX 。

Re.sub(‘\\\x[a-fA-F0-9]{2}’,””, a)

其中“a ”是文本文件的一行。

当我尝试这样做时，我收到一条错误消息“invalid \x escape”。

我已经为此苦苦挣扎了几个小时。我的正则表达式有什么问题？

Answer 1

人物"\x3a"不是多字节 Unicode 字符。它是 ASCII 字符 ":" .一旦你指定了字符串 "\x3a" ，它在内部存储为字符 ":" . Python 没有看到任何 "\" Action 发生。所以你不能去掉"\x3a"作为多字节 Unicode，因为 Python 只能看到单字节 ASCII 字符 ":" .

$ python
>>> '\x3a' == ':'
True
>>> "10\x3a00\x3a00" == "10:00:00"
True

查看维基百科文章的描述部分 UTF-8 .查看范围内的字符 U+0000-U+007F编码为单个 ASCII 字符。

如果要去除非 ASCII 字符，请执行以下操作:

>>> print u'R\xe9n\xe9'
Réné
>>> ''.join([x for x in u'R\xe9n\xe9' if ord(x) < 127])
u'Rn'
>>> ''.join([x for x in 'Réné' if ord(x) < 127])
'Rn'

如果您想保留欧洲字符但丢弃具有更高码位的 Unicode 字符，则更改 127在 ord(x) < 127到一些更高的值(value)。

帖子replace 3 byte unicode ，有另一种方法。您还可以使用以下方法去除代码点范围:

>>> str = u'[\uE000-\uFFFF]'
>>> len(str)
5
>>> import re
>>> pattern = re.compile(u'[\uE000-\uFFFF]', re.UNICODE)
>>> pattern.sub('?', u'ab\uFFFDcd')
u'ab?cd'

请注意，使用 \u可能比使用 \x 更容易用于指定字符。

另一方面，您可以使用字符串 "\\x3a"你可以去掉。当然，该字符串实际上不是多字节 Unicode 字符，而是 4 个 ASCII 字符。

$ python
>>> print '\\x3a'
\x3a
>>> '\\x3a' == ':'
False
>>> '\\x3a' == '\\' + 'x3a'
True
>>> (len('\x3a'), len('\\x3a'))
(1, 4)

您还可以去掉 ASCII 字符 ":" :

>>> "10:00:00".replace(":", "")
'100000'
>>> "10\x3a00\x3a00".replace(":", "")
'100000'
>>> "10\x3a00\x3a00".replace("\x3a", "")
'100000'