python - 为什么字符 ID 160 在 PDFMiner 中不被识别为 Unicode?

标签 python pdf utf-8 python-unicode pdfminer

我正在使用 PDFMiner 将 .pdf 文件转换为 .xml 文件.

对于 .pdf 文件中的每个单词,PDFMiner 会检查它是否是 Unicode(以及许多其他内容)。如果是,则返回该字符,如果不是,则引发异常并返回字符串“(cid:%d)”,其中 %d 是字符 id,我认为它是 Unicode 十进制。

这个问题的编辑部分对此进行了很好的解释: What is this (cid:51) in the output of pdf2txt? 。为了方便起见,我在这里报告代码:

def render_char(self, matrix, font, fontsize, scaling, rise, cid):
    try:
        text = font.to_unichr(cid)
        assert isinstance(text, unicode), text
    except PDFUnicodeNotDefined:
        text = self.handle_undefined_char(font, cid)


def handle_undefined_char(self, font, cid):
    if self.debug:
        print >>sys.stderr, 'undefined: %r, %r' % (font, cid)
    return '(cid:%d)' % cid

对于用西里尔文编写的 .pdf 文件,我通常会遇到此异常。然而,有一个文件使用简单的英语,并且我在其中得到了不间断空格(cid = 160)的异常。我不明白为什么这个字符不被识别为 Unicode,而同一文件中的所有其他字符都是。

如果在相同的环境中,我在控制台中运行 isinstance(u'160', unicode) ,我会得到 True,而(显然)等效的命令是当它在 PDFMiner 中运行时返回 False

如果我调试,我会看到字体被正确识别,即我得到:

cid = 160
font =  <PDFType1Font: basefont='Helvetica'>

PDFMiner 接受编解码器作为参数。我选择了 utf-8,其中 160 作为不间断空格的 Unicode 十进制 ( http://dev.networkerror.org/utf8/ )。

如果有帮助,这里是 to_unichr 的代码:

def to_unichr(self, cid):
    if self.unicode_map:
        try:
            return self.unicode_map.get_unichr(cid)
        except KeyError:
            pass
    try:
        return self.cid2unicode[cid]
    except KeyError:
        raise PDFUnicodeNotDefined(None, cid)

有没有办法设置/更改代码识别的字符映射?

您认为我应该更改什么,或者您认为我应该调查哪里,以便 cid=160 不会引发异常?

最佳答案

示例文档中的相关字体是简单字体并使用WinAnsiEncoding。此编码在 PDF 规范 ISO 32000-1 中定义。作为附件D.2 拉丁字符集和编码表中的四种特殊编码之一。此表包含 WIN 列中 240 的条目(= 十进制 160。表条目以八进制数形式给出!)。

此表被提取为 latin_enc.py 中的 ENCODING 数组,并从该数组中在 encodingdb.py 中生成这四种编码的映射。然后使用strong>,例如对于具有该编码的字体,请参见 pdffont.py 中的 PDFSimpleFont

因此,PdfMiner 不会将代码 160 识别为在 WinAnsiEncoding 中具有任何关联字符。这会导致您的问题。

<小时/>

只看表格似乎是正确的,但如果读一下表格下面的注释,就会发现:

  1. The SPACE character shall also be encoded as 312 in MacRomanEncoding and as 240 in WinAnsiEncoding. This duplicate code shall signify a nonbreaking space; it shall be typographically the same as (U+003A) SPACE.

PdfMiner 的开发似乎忽略了这一点。

可以通过添加第二个空格条目来修复此疏忽

('nbspace', None, 202, 160, None)

ENCODING数组(使用十进制数字);如果您愿意,您可能需要使用空格

(我说可能是因为我不喜欢Python编程,因此无法检查,特别是无法检查不需要的副作用。)

关于python - 为什么字符 ID 160 在 PDFMiner 中不被识别为 Unicode?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34108647/

相关文章:

python - Cython 无法在 Win 7 上的 Anaconda3 64 位中使用内存 View

python - 修改传递给函数的列表切片

php - 将html网页转换为pdf页面(用户将下载的pdf文件)

pdf - 将 PDF 转换为 Word

utf-8 - 在 Go 中解码 ISO-8859-1 XML 输入

mysql - 表情符号未插入数据库 Node js mysql

Java UTF-8 编码

python - 在 Python 中迭代包含在 3d 数组中的 2d 数组

python - 制定依赖组

html - 嵌入PDF会随机不显示