python:转义XML中的非ascii字符

Question

我使用以下源文件打印了我的测试 XML 文件，但它不能正确处理非 ASCII 字符:

xmltest.py:

import xml.sax.xmlreader
import xml.sax.saxutils

def testJunk(file, e2content):
  attr0 = xml.sax.xmlreader.AttributesImpl({})
  x =  xml.sax.saxutils.XMLGenerator(file)
  x.startDocument()
  x.startElement("document", attr0)

  x.startElement("element1", attr0)
  x.characters("bingo")
  x.endElement("element1")

  x.startElement("element2", attr0)
  x.characters(e2content)
  x.endElement("element2")

  x.endElement("document")
  x.endDocument()

如果我这样做

>>> import xmltest
>>> xmltest.testJunk(open("test.xml","w"), "ascii 001: \001")

然后我得到一个包含字符代码 001 的 xml 文件。我不知道如何逃避这个角色。 Firefox 告诉我它不是格式正确的 XML 并提示那个字符。我该如何解决这个问题？

说明:我正在尝试记录一个我无法控制的函数的输出，该函数输出非 ASCII 字符。

---

更新: 好的，现在我知道了 characters outside one of the accepted ranges不能以
的形式编码。 (或者更确切地说，它们可以被编码，但这对任何格式不正确的 w/r/t XML 没有帮助。)但是如果我定义了这样做的方法，它们可以被转义。

(供将来引用:W3C 在 XML 标准本身之外有 a useful page，它说“控制代码应该用适当的标记替换”，但实际上并没有建议这样做的任何示例。)

如果我想通过以下方式转义超出可接受范围的字符:

转义前:(
代表一个字符，不是8字串)

 abcdefghijkl

转义后:

 abcd<u>0001</u>efgh<u>0002</u>ijkl

我如何在 python 中执行此操作？

def escapeXML(src)
    dest = ??????
    return dest

Answer 1

"\001"又名 "\x01"是一个 ASCII 控制码。然而，它不是允许的 XML 字符之一。唯一ASCII control codes which qualify分别是“\t”、“\n”和“\r”。

例子:

>>> import xml.etree.cElementTree as ET
# Raw newline works
>>> t = ET.fromstring("<e>\n</e>")
>>> t.text
'\n'

# Hex escaping of a newline works
>>> t = ET.fromstring("<e>&#xa;</e>")
>>> t.text
'\n'

# Hex escaping of "\x01" doesn't work; it's not a valid XML character
>>> t = ET.fromstring("<e>&#x1;</e>")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<string>", line 106, in XML
cElementTree.ParseError: reference to invalid character number: line 1, column 3

如果您想在 XML 文档中以某种方式包含无效的 XML 字符，则必须通过额外的转义级别将它们从 XML 解析器中隐藏起来。您的文档的读者需要记录、发布和理解该机制。

例如，在 Microsoft Excel 2007+ XLSX 文件中，不是有效 XML 字符的 Unicode 代码点通过将它们表示为 _xhhhh_ 走私通过解析器其中 hhhh是代码点的十六进制表示。在您的示例中，这将是 7 个字节 _x0001_ .请注意，有必要转义任何 _文本中的字符否则会被错误地解释为引入了 _xhhhh_顺序。

这很丑陋、痛苦、低效等，你不妨考虑其他方法。是否需要使用 XML？ CSV 文件(震惊，恐怖!)在您的应用程序中会做得更好吗？

编辑 关于 OP 编码建议的一些注释:

一个。虽然\r是一个有效的 XML 1.0 输入字符，它受制于 mandatory immediate transmogrification , 所以你也应该转义它。

B.该方案假设/希望 <u>hhhh</u>不能与任何其他标记混淆。

C.我收回上面所说的有关 Microsoft 转义方案的内容。它相对美观，无痛且高效。要为文雅的读者完成您的方案图片，您应该显示取消转义讨厌的位并将各个部分粘合在一起所需的代码。请记住，MS 方案需要有人编写一个转义函数和一个非转义函数，而您的方案需要对每种工具(SAX、DOM、ElementTree)进行不同的处理。

D.在细节层面，代码有点古怪:

if (len(g1) > 0):应该是 if g1:

if (not foo == None):与普遍接受的成语有三处偏差:(1) 括号 (2) not x == y而不是 x != y (3) != None而不是 is not None

不要使用 list (以及其他内置对象的名称)作为您自己的变量的名称。

编辑 2 您想要使用正则表达式拆分字符串。为什么不使用 re.split ？

splitInvalidXML2 = re.compile(
    ur'([^\x09\x0A\x0D\x20-\x7E\x85\xA0-\xFF\u0100-\uD7FF\uE000-\uFDCF\uFDE0-\uFFFD])'
    ).split

def submitCharacters2(x, string):
    badchar = True
    for fragment in splitInvalidXML2(string):
        badchar = not badchar
        if badchar:
            x.startElement("u", attr0)
            x.characters('%04X' % ord(fragment))
            x.endElement("u")
        elif fragment:
            x.characters(fragment)