python - 将不同的编码转换为ascii

Question

我有一百个文件，根据 chardet，每个文件都使用以下编码之一:

['UTF-8', 'ascii', 'ISO-8859-2', 'UTF-16LE', 'TIS-620', 'utf-8', 'SHIFT_JIS', 'ISO-8859-7']

所以我知道文件编码，因此我知道用什么编码打开文件。

我希望将所有文件仅转换为 ascii。我还希望将不同版本的字符(如 - 和 ')转换为它们的普通 ascii 等效字符。例如b"\xe2\x80\x94".decode("utf8")应该转换成-。最重要的是文本易于阅读。例如，我不想 don t，而是 don't。

我该怎么做？

我可以使用 Python 2 或 3 来解决这个问题。

这是我对 Python2 的了解。我正在尝试检测那些以连续非 ascii 字符开头的行。

for file_name in os.listdir('.'):
        print(file_name)
        r = chardet.detect(open(file_name).read())
        charenc = r['encoding']
        with open(file_name,"r" ) as f:
            for line in f.readlines():
              if line.decode(charenc) != line.decode("ascii","ignore"):
                print(line.decode("ascii","ignore"))

这给了我以下异常:

    if line.decode(charenc) != line.decode("ascii","ignore"):
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/encodings/utf_16_le.py", line 16, in decode
    return codecs.utf_16_le_decode(input, errors, True)
UnicodeDecodeError: 'utf16' codec can't decode byte 0x0a in position 6: truncated data

Answer 1

不要将 .readlines() 用于包含多字节行的二进制文件。在 UTF-16 little-endian 中，换行符被编码为两个字节，0A(在 ASCII 中为换行符)和 00(NULL)。 .readlines() 在这两个字节的第一个 处拆分，留下不完整的数据进行解码。

使用io 库重新打开文件以便于解码:

import io

for file_name in os.listdir('.'):
    print(file_name)
    r = chardet.detect(open(file_name).read())
    charenc = r['encoding']
    with io.open(file_name, "r", encoding=charenc) as f:
        for line in f:
            line = line.encode("ascii", "ignore"):
            print line

要用 ASCII 友好字符替换特定的 unicode 代码点，请使用字典映射代码点到代码点或 unicode 字符串并调用 line.translate()第一:

charmap = {
    0x2014: u'-',   # em dash
    0x201D: u'"',   # comma quotation mark, double
    # etc.
}

line = line.translate(charmap)

我使用十六进制整数文字来定义 unicode 代码点以从映射到这里。字典中的值必须是 unicode 字符串、整数(代码点)或 None 以完全删除该代码点。