我正在使用 PDFMiner 将 .pdf 文件转换为 .xml 文件.
对于 .pdf 文件中的每个单词,PDFMiner 会检查它是否是 Unicode(以及许多其他内容)。如果是,则返回该字符,如果不是,则引发异常并返回字符串“(cid:%d)”,其中 %d 是字符 id,我认为它是 Unicode 十进制。
这个问题的编辑部分对此进行了很好的解释: What is this (cid:51) in the output of pdf2txt? 。为了方便起见,我在这里报告代码:
def render_char(self, matrix, font, fontsize, scaling, rise, cid):
try:
text = font.to_unichr(cid)
assert isinstance(text, unicode), text
except PDFUnicodeNotDefined:
text = self.handle_undefined_char(font, cid)
def handle_undefined_char(self, font, cid):
if self.debug:
print >>sys.stderr, 'undefined: %r, %r' % (font, cid)
return '(cid:%d)' % cid
对于用西里尔文编写的 .pdf 文件,我通常会遇到此异常。然而,有一个文件使用简单的英语,并且我在其中得到了不间断空格(cid = 160)的异常。我不明白为什么这个字符不被识别为 Unicode,而同一文件中的所有其他字符都是。
如果在相同的环境中,我在控制台中运行 isinstance(u'160', unicode)
,我会得到 True
,而(显然)等效的命令是当它在 PDFMiner 中运行时返回 False
。
如果我调试,我会看到字体被正确识别,即我得到:
cid = 160
font = <PDFType1Font: basefont='Helvetica'>
PDFMiner 接受编解码器作为参数。我选择了 utf-8,其中 160 作为不间断空格的 Unicode 十进制 ( http://dev.networkerror.org/utf8/ )。
如果有帮助,这里是 to_unichr 的代码:
def to_unichr(self, cid):
if self.unicode_map:
try:
return self.unicode_map.get_unichr(cid)
except KeyError:
pass
try:
return self.cid2unicode[cid]
except KeyError:
raise PDFUnicodeNotDefined(None, cid)
有没有办法设置/更改代码识别的字符映射?
您认为我应该更改什么,或者您认为我应该调查哪里,以便 cid=160 不会引发异常?
最佳答案
示例文档中的相关字体是简单字体并使用WinAnsiEncoding。此编码在 PDF 规范 ISO 32000-1 中定义。作为附件D.2 拉丁字符集和编码表中的四种特殊编码之一。此表不包含 WIN
列中 240 的条目(= 十进制 160。表条目以八进制数形式给出!)。
此表被提取为 latin_enc.py 中的 ENCODING
数组,并从该数组中在 encodingdb.py 中生成这四种编码的映射。然后使用strong>,例如对于具有该编码的字体,请参见 pdffont.py 中的 PDFSimpleFont
。
因此,PdfMiner 不会将代码 160 识别为在 WinAnsiEncoding 中具有任何关联字符。这会导致您的问题。
<小时/>只看表格似乎是正确的,但如果读一下表格下面的注释,就会发现:
- The SPACE character shall also be encoded as 312 in MacRomanEncoding and as 240 in WinAnsiEncoding. This duplicate code shall signify a nonbreaking space; it shall be typographically the same as (U+003A) SPACE.
PdfMiner 的开发似乎忽略了这一点。
可以通过添加第二个空格
条目来修复此疏忽
('nbspace', None, 202, 160, None)
到ENCODING
数组(使用十进制数字);如果您愿意,您可能需要使用空格
。
(我说可能是因为我不喜欢Python编程,因此无法检查,特别是无法检查不需要的副作用。)
关于python - 为什么字符 ID 160 在 PDFMiner 中不被识别为 Unicode?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34108647/