python - 从 Facebook 数据导出中解码看似格式错误的 Unicode 指针的 utf8 表示形式

标签 python facebook unicode utf-8

类似于 this post ,有没有办法解码从 downloading a copy of my Facebook data 返回的一些看似格式错误的 UTF-8 数据?

看一个特定的例子,在我的一次聊天中,我发送了一条仅包含表情符号💎的消息。使用 vim 打开 message_1.json 文件并查看相应的条目,会显示文本 "\u00f0\u009f\u0092\u008e"。然而,这与我的终端 (Mac OSX) 的 View 不同

$ jq '.messages[0].content' message_1.json
"ð"  # stackoverflow seems to be truncating this string, there are 3 extra chars which show as spaces
$ jq '.messages[0].content' message_1.json > utf
$ cat utf
"ð"
$ od -h utf
0000000      c322    c2b0    c29f    c292    228e    000a
0000013
$ wc utf
       1       1      11 utf

这也不同于直接将表情符号粘贴到文件中的输出

$ echo '💎' > gem.txt
$ cat gem.txt
💎
$ od -h gem.txt
0000000      9ff0    8e92    000a
0000005
$ wc gem.txt
       1       1       5 gem.txt

当我用 python3 读取这两个文件时,我得到了看似不同的信息

$ python3
Python 3.7.3 (default, Dec 13 2019, 19:58:14)
[Clang 11.0.0 (clang-1100.0.33.17)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> with open('gem.txt', 'r') as f:
...   gem = f.read()
...
>>> gem
'💎\n'
>>> len(gem)
2
>>> ord(gem[0])
128142
>>>
>>>
>>> with open('utf', 'r') as f:
...   utf = f.read()
...
>>> utf
'"ð\x9f\x92\x8e"\n'
>>> len(utf)
7
>>> for char in utf:
...   print(ord(char))
...
34
240
159
146
142
34
10
>>>

基于此行为,我有几个问题:

  1. Facebook 返回的数据编码是否错误? This page显示 gem 表情符号的正确 Unicode 指针为 U+1F48E,并且相应的 UTF-8 0xF0 0x9F 0x92 0x8E 表示与 od 的字节输出匹配
  2. 有没有办法解析 Facebook 返回的字符串?似乎上一个问题建议先使用正则表达式来转换文本,这是必需的吗?
  3. gem.txt 的长度为 5 个字节,减去换行符,用 4 个字节来表示表情符号。这对我来说很有意义,因为它的 UTF-8 表示需要 4 个字节。为什么 utf 文档列出了 11 个字节(大概是 10 个字节,没有换行符)?

最佳答案

看起来您的 JSON 文件的内容确实得到了 mojibaked,即。由于编码错误而被误解。

>>> import json
>>> # That's how it should look:
>>> print(json.dumps('💎'))
"\ud83d\udc8e"
>>> # That's what you got:
>>> mojibaked = '💎'.encode('utf8').decode('latin1')
>>> print(json.dumps(mojibaked))
"\u00f0\u009f\u0092\u008e"

检查是否可以修复 JSON 文件的创建方式。 Latin-1 是某些工具/协议(protocol)中的默认值。 方便的是,您始终可以将任何字节流解码为 Latin-1,无一异常(exception)。 但它可能会破坏您的输入,就像这里发生的那样。

如果您无法修复源,您也许可以通过反向进行编码往返来恢复:

>>> mojibaked = json.loads('"\\u00f0\\u009f\\u0092\\u008e"')
>>> mojibaked
'ð\x9f\x92\x8e'
>>> mojibaked.encode('latin1').decode('utf8')
'💎'

关于python - 从 Facebook 数据导出中解码看似格式错误的 Unicode 指针的 utf8 表示形式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62628204/

相关文章:

python - 如何在python中生成一组相似的字符串

使用 Android API 的 Android Facebook 视频上传错误 4+

php - 使用 Facebook API ID 向数据库输入值对于所有条目都是相同的

java - 在指定unicode文字的java代码中获取空字 rune 字错误

python - 使用inpout32 windows7(64bit)访问并口控制寄存器

php - 是否有与 TCPDF 的 'annotate' 函数等效的 python ReportLab?

java - Facebook 支持 Java 和 C++

xml - NSXMLParserErrorDomain 有效 XML 错误 73

c++ - boost::asio 不是完全符合 UNICODE 标准吗?

python - 将用户重定向到新 URL