python-2.7 - Unicode解码错误: 'utf8' codec can't decode byte 0x9a in position 12

Question

我正在使用 chatterbot 库开发一个聊天机器人。聊天机器人使用我的母语 --> 斯洛文尼亚语，其中有很多奇怪的字符(例如:š、č、ž)。我正在使用 python 2.7。

当我尝试训练机器人时，图书馆无法处理上述字符。例如，当我运行以下代码时:

chatBot.set_trainer(ListTrainer)
chatBot.train([
            "Koliko imam še dopusta?",
            "Letos imate še 19 dni dopusta.",
        ])

它抛出以下错误:

UnicodeDecodeError: 'utf8' codec can't decode byte 0x9a in position 12: invalid start byte

我在我的文件顶部添加了 # -*- coding: utf-8 -*- 行，我还通过我的编辑器 (Sublime text 3) 更改了所有使用文件的编码为utf-8，我使用以下代码更改了系统默认编码:

import sys
reload(sys)
sys.setdefaultencoding('utf8')

字符串的类型是unicode。

当我尝试使用这些奇怪的字符 获得响应时，它可以正常工作，它们没有任何问题。例如，在与上述训练代码相同的执行中运行以下代码(当我在训练字符串中将 'š' 更改为 's' 并将 'č' 更改为 'c' 时)不会引发任何错误:

chatBot.set_trainer(ListTrainer)
chatBot.train([
            "Koliko imam se dopusta?",
            "Letos imate se 19 dni dopusta.",
        ])    
chatBot.get_response("Koliko imam še dopusta?")

我找不到这个问题的解决方案。有什么建议么？ 提前致谢。 :)

编辑:我使用 from __future__ import unicode_literals 生成 unicode 类型的字符串。我还使用 type(myString)

方法检查了它们是否真的是 unicode

我也想贴这个link .

编辑 2:@MallikarjunaraoKosuri - 代码有效，但就我而言，我在聊天机器人实例初始化中还有一件事，如下所示:

chatBot = ChatBot(
    'Test',
    trainer='chatterbot.trainers.ListTrainer',
    storage_adapter='chatterbot.storage.JsonFileStorageAdapter'
)

这是我错误的原因。聊天机器人创建的 json 存储文件是用我的本地编码而不是 utf-8 创建的。似乎默认存储 (.sqlite3) 没有这个问题，所以现在我将避免使用 json 存储。但我仍然有兴趣找到解决此错误的方法。

Answer 1

您示例中的字符串不是 unicode 类型。

否则 Python 不会抛出 UnicodeDecodeError。
这种类型的错误表示在程序执行的某个步骤中，Python 尝试将字节字符串解码为 un​​icode，但由于某种原因失败了。

在你的情况下，原因是:

解码由utf-8配置

您的源文件不是 utf-8 并且几乎可以肯定是 cp1252:

import unicodedata

b = '\x9a'

# u = b.decode('utf-8') # UnicodeDecodeError: 'utf8' codec can't decode byte 0x9a 
                        # in position 0: invalid start byte

u = b.decode('cp1252')

print unicodedata.name(u) # LATIN SMALL LETTER S WITH CARON
print u # š

因此，cp1252 源中的 0x9a 字节不能用 utf-8 解码。

---

最好的解决方案是除了将源代码转换为 utf-8 之外什么都不做。
使用 Sublime Text 3，您可以通过以下方式轻松完成此操作:File -> Reopen with Encoding -> UTF-8。
但是不要忘记在转换之前 Ctrl+C 你的源代码，因为在那之后你所有的 š, č, ž 字符将替换为 ?。