由于包含 "incomplete"表情符号的字符串，Swift 4 base64 字符串到数据无法正常工作

Question

我来自这篇文章Swift 4 JSON String with unknown UTF8 "�" character is not convertible to Data/ Dictionary但与此同时，我能够将问题隔离为 10 个字符的字符串。

简短介绍:一位用户的应用没有显示任何内容。用 TextWrangler 查看他的 6kb 纯文本数据，我发现了 2 个红色问号

.

我试图在问号周围剪切一些 base64 编码的数据 block ，并将它们转换为不起作用的数据。一旦我从 block 中删除红色问号中的位，它似乎又可以工作了。请看看我的以下 Playground 示例:

//those do NOT work
let toEndBracket = "ACAAKgBVAFMAQQAqACAnlgAg2DwAIgB9AF0A" // *USA* ' <"}]//
let toMidBracket = "ACAAKgBVAFMAQQAqACAnlgAg2DwAIgB9"     // *USA* ' <"}//
let toCarrot =     "ACAAKgBVAFMAQQAqACAnlgAg2DwA"         // *USA* ' <//
let toSpace =      "ACAAKgBVAFMAQQAqACAnlgAg"             // *USA* ' //

//but this one WORKS
let toApostrophe = "ACAAKgBVAFMAQQAqACAn"                 // *USA* '//
//(basically the last one is without the space before the carrot, I've added the slashes after it to emphasize that)
//clear strings taken from https://www.base64decode.org/ using the UTF-8 setting WITHOUT "Live mode".

if let textData = Data(base64Encoded: toApostrophe) {
    print("Data created")   //works for all of them
    print(textData)
    if let decodedString = String(data: textData, encoding: .utf8) {
        print("WORKED!!!")  //only happens for the toApostrophe
        print(decodedString)
    } else {
        print("DID NOT WORK")
    }
}

所以基本上一包含lgAg就失效了。用 U29t 之类的东西替换它确实可以使小字符串再次工作，但我不能在生产代码中这样做，因为我确信我的例子不是这个问题的唯一出现。我不在乎导致这种情况的原始字符/符号/表情符号会发生什么，如果有一种方法可以“忽略”它们，那将非常有帮助!

这是发生这种情况的另一个例子:

//OTHER SYMBOL WITH SAME BEHAVIOR
//not working
let secondFromSpace =  "ACDYPAAiACwA"       // <",//

//WORKING
let secondFromCarrot = "PAAiACwA"           //<",//

这是其栖息地中的原始文本，一 strip 有表情符号的信使消息说“美国”，因此在我的示例文本中使用“美国”，我怀疑是表情符号导致它崩溃:

如果有人能告诉我如何“清理”base64 字符串以便它再次转换为数据，我将不胜感激。这也可能是由于某些表情符号的一些奇怪编码，但在大多数情况下，应用程序可以很好地接收和显示带有表情符号的内容。

---

我终于明白为什么会这样了。这不是我的问题的快速解决方案，但现在它至少有一定的意义。对于新内容的预览，我切断了字符串以匹配浏览器的视口(viewport)。这个特别不幸的用户在显示屏边框的边缘有美国国旗表情符号。我从来没有想过由多个字母组成的表情符号和 JavaScript 的 substring() 将它们斩首。看看图片，这解释了角色的来源等。

关于如何在 Swift 中避免/忽略/捕获它的答案，我仍然很感激，但对于遇到这个问题的每个可怜的灵魂，我希望你会偶然发现这个线程。

Answer 1

(其中一些是评论之外的，但试图将其整合并描述解决方案。)

首先，您的字符串不是 UTF-8。它们是 UTF-16 或格式错误的 UTF-16。有时 UTF-16 恰好可以解释为 UTF-8，但当它是时，字符串中会散布 NULL 字符。在您的“工作”示例中，它实际上并没有工作。

let toApostrophe = "ACAAKgBVAFMAQQAqACAn"                 // *USA* '//
if let textData = Data(base64Encoded: toApostrophe) {
    if let decodedString = String(data: textData, encoding: .utf8) {
        print(decodedString)
        print(decodedString.count)
        print(decodedString.map { $0.unicodeScalars.map { $0.value } } )
    } else {
        print("DID NOT DECODE UTF8")
    }
} else {
    print("DID NOT DECODE BASE64")
}

打印:

 *USA* '
15
[[0], [32], [0], [42], [0], [85], [0], [83], [0], [65], [0], [42], [0], [32], [39]]

请注意，字符串的长度为 15 个字符，而不是您可能期望的 8 个字符。这是因为它在大多数字符之间包含一个额外的不可见 NULL (0)。

然而，

toEndBracket 并不是合法的 UTF-8。这是它的字节:

[“00”、“20”、“00”、“2a”、“00”、“55”、“00”、“53”、“00”、“41”、“00”、“2a” ", "00", "20", "27", "96", "00", "20", "d8", "3c", "00", "22", "00", "7d", “00”、“5d”、“00”]

在到达 0xd8 之前，一切正常。它以位 110 开始，表示它是一个两字节序列的开始。但下一个字节是 0x3c，它不是多字节序列的有效第二个字节(它应该以 10 开头，但它以 00 开头)。所以我们不能将其解码为 UTF-8。即使使用 decodeCString(_:as:repairingInvalidCodeUnits) 也无法解码此字符串，因为它充满了嵌入的 NULL。您必须至少使用正确的编码对其进行解码。

但让我们这样做吧。解码为 UTF-16。至少这很接近，即使它是稍微无效的 UTF-16。

let toEndBracket16 = String(data: toEndBracketData, encoding: .utf16)
// " *USA* ➖ �"}]"

现在我们至少可以解决这个问题。不过，它是无效的 JSON。所以我们可以通过过滤来去除它:

let legalJSON = String(toEndBracket16.filter { $0 != "\u{FFFD}" })
// " *USA* ➖ "}]"

我真的不推荐这种方法。它非常脆弱，并且基于损坏的输入。固定输入。但在您尝试解析损坏的输入的世界中，这些就是工具。