python - 将 Bytearray 编码为 UTF-8

Question

所以，在 Python 2.7 中我有一个字符串:

Python 2.7.8 (default, Apr 15 2015, 09:26:43) 
[GCC 4.9.2 20150212 (Red Hat 4.9.2-6)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import scrypt
>>> s=scrypt.encrypt('somestring', 'test'.encode('ascii'), 0.1)
>>> s
'scrypt\x00\r\x00\x00\x00\x08\x00\x00\x00\x016 \xf2\xcc\xf9\xd2\xbe\xd4\xdbU!\xaf\xecKk{\x8b\r\x94\xe8\x11\xf2\x00\x1f\xd9\xceBhf$cM\x12{\xd8\x84\\\xf2j`\xba\xc5Xk\x196)\xf5\xd3\xe9\x15\xdd\xd3\xa0A_K\x00\x18\x03J\x85\xee\n\xcc\xea\x86\xda\xaa\xfd6E\xf4\x804\xfe\x04\xca\xec!\x94F\x84)B\tf\x07\xd9!@B,\x9e\xffc\xf2\xb6e\x8c\xa9HA\x98\x99\xa0\xe8\xcf\x85P2\x13\x0f\xa1\xf6\x90nO\x85Z\xb2\xc1'
>>> type(s)
<type 'str'>

(真的很丑。)

我需要将其编码为文本 - 一个 unicode 对象或一个 utf-8 字符串。

TypeError: You are required to pass either a unicode object or a utf-8 string here.
You passed a Python string object which contained non-utf-8:
'scrypt\x00\r\x00\x00\x00\x08\x00\x00\x00\x01\xce\xf5\xba\x19\xeb1z/5*`m\xec\xf6sgT4\xb5.\xf7^\x96\xfaMY6\xa0\xdb\t\xa3*<5A<\xfb\xbe\xfb>w\xa3,MjaX;\xc1r\xdc\xbd\x04W\xafq3O\x90\x19!\x13\xe8\x0c\x86\xf5\xc96\xf4K\x16\xe3^.v\x8a\xe0\xda\xdd>#\xa7\\\x1c\xc2\x11\x85\x01\xb5\xd4\x92\xef\xa1k\x05Z\xaey\xd7M`%5.\x9f\xb1\xc4\x11N\xdeY\xa2\xac=\r\n\xb4aM\xfd)\xcc$\xbbq\xaa\xfd\x9d \xa5\xd39|\x85\xc8\x95\xbc\xfa\x17\xa1\x8e\xb8\x81 \xb4\x9b>j'.
The UnicodeDecodeError that resulted from attempting to interpret it as utf-8 was:
'utf8' codec can't decode byte 0xce in position 20: invalid continuation byte

问题是，它超出了 UTF-8 的范围:

>>> s.encode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xf2 in position 18: ordinal not in range(128)

那么:我应该如何编码这个字符串？

如果你能告诉我为什么当我尝试 ascii 编解码器时出现错误(以及 UnicodeDecodeError 所有事情)，那就加分了em>编码一个字符串。

(郑重声明，尝试编码为 UTF-16 会引发完全相同的错误。)

我已经让它与base64一起工作(我想这就是它的用途)，但我很好奇为什么我会收到这个错误以及我的选择是什么。

Answer 1

您有二进制数据。不是文本，当然也不是 Unicode。您无法将其编码为 UTF-8，因为它不是 unicode(文本)对象。

您的UnicodeDecodeError是由Python首先尝试解码数据引起的；它试图提供帮助，因为通常您只能从 Unicode 编码为字节。由于您尝试对字节执行此操作，因此它首先需要将字节解码为 Unicode，并且将使用 ASCII 编解码器来执行此操作。但您没有 ASCII 数据，也没有任何其他文本编码。

您无法使用这些字节生成 Unicode，因为它不是文本。您唯一的选择是使用二进制到文本的方案，例如 base64，它以安全的方式包装二进制数据，以便通过需要文本的系统进行传输(因此不支持 \x00 NUL 字节或 \x0a 换行符或其他在文本流中具有特殊含义的字节。

请参阅binascii library适用于 Python 标准库中可用的各种二进制到文本方案； base64 是其中使用最广泛的。