python - 无法解析使用 latin-1 编码的文件

Question

我正在尝试解析斯坦福情绪数据库中的一个大推文文件(请参见此处:http://help.sentiment140.com/for-students/)，以下是我的代码:

def init_process(fin, fout):
    outfile = open(fout, 'a')
    with open(fin, buffering=200000, encoding='latin-1') as f:
        try:
            for line in f:
                line = line.replace('"', '')
                initial_polarity = line.split(',')[0]
                if initial_polarity == '0':
                    initial_polarity = [1, 0]
                elif initial_polarity == '4':
                    initial_polarity = [0, 1]

                tweet = line.split(',')[-1]
                outline = str(initial_polarity) + ':::' + tweet
                outfile.write(outline)
        except Exception as e:
            print(str(e))
    outfile.close()

init_process('training.1600000.processed.noemoticon.csv','train_set.csv')

我遇到了以下问题:

'ascii' codec can't encode characters in position 12-14: ordinal not in range(128)

这没有意义，因为我使用 latin-1 编码打开文件。如何停止此错误并成功解析文件？

Answer 1

输出文件编码可能仍然是 ASCII。您也应该使用正确的编码打开它(不必是 la​​tin-1，可能 utf-8 更合适，具体取决于您的环境)。

根据 Åsmund 的评论:文件编码是特定于语言环境的，您可能应该考虑将语言环境更改为可以处理非 ASCII 文本的语言。