python - 解析从 URL 读取的 JSON 时出现问题

Question

我遇到了一个我认为有简单解决方案的问题。

我正在编写一个 Python 脚本，它从 URL 读取 JSON 字符串并对其进行解析。为此，我使用了 urllib2 和 simplejson。

我遇到的问题与编码有关。我正在阅读的 URL 没有明确说明它的编码方式(据我所知)，它返回一些冰岛字符。我不能给出我从这里读取的 URL，但我已经在我自己的服务器上设置了一个示例 JSON 数据文件，而且我在读取它时也遇到了问题。 这是文件:http://haukurhaf.net/json.txt

这是我的代码:

# coding: utf-8
#!/usr/bin/env python
import urllib2, re, os
from BeautifulSoup import BeautifulSoup
import simplejson as json

user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.9.0.3) Gecko/2008092417 Firefox/3.0.3'

def fetchPage(url):
    req = urllib2.Request(url)
    req.add_header('User-Agent', user_agent)
    response = urllib2.urlopen(req)
    html = response.read()
    response.close()
    return html

html = fetchPage("http://haukurhaf.net/json.txt")
jsonData = json.JSONDecoder().decode(html)

JSON 解析器崩溃并显示此错误消息:UnicodeDecodeError:“utf8”编解码器无法解码位置 35 中的字节 0xe1:连续字节无效

由于我无法控制保存 JSON 数据的服务器，因此我无法控制它发送的编码 header 。我希望我能以某种方式解决这个问题。

有什么想法吗？

Answer 1

文件使用 Latin-1 而非 UTF-8 编码，因此您必须指定编码:

jsonData = json.JSONDecoder('latin1').decode(html)

顺便说一句:html 是 JSON 文档的错误名称...