java - Java 中针对非 ASCII 字符的 URL 解码

Question

我正在尝试用 Java 解码包含 % 编码字符的 URL

我试过使用 java.net.URI 类来完成这项工作，但它并不总是能正常工作。

String test = "https://fr.wikipedia.org/wiki/Fondation_Alliance_fran%C3%A7aise";
URI uri = new URI(test);
System.out.println(uri.getPath());

对于测试字符串“https://fr.wikipedia.org/wiki/Fondation_Alliance_fran%C3%A7aise”，结果是正确的“/wiki/Fondation_Alliance_française”(%C3%A7 被正确替换为ç)。

但对于其他一些测试字符串，如“http://sv.wikipedia.org/wiki/Anv%E4ndare:Lsjbot/Statistik#Drosophilidae”，它会给出不正确的结果“/wiki/Anv�ndare:Lsjbot/Statistik”(%E4 被替换为 � 而不是 ä)。

我用 getRawPath() 和 URLDecoder 类做了一些测试。

System.out.println(URLDecoder.decode(uri.getRawPath(), "UTF8"));
System.out.println(URLDecoder.decode(uri.getRawPath(), "ISO-8859-1"));
System.out.println(URLDecoder.decode(uri.getRawPath(), "WINDOWS-1252"));

根据测试字符串，我使用不同的编码得到正确的结果:

• 对于 %C3%A7，我得到了预期的“UTF-8”编码的正确结果，以及“ISO-8859-1”或“WINDOWS-1252”编码的错误结果
• 对于 %E4，情况正好相反。

对于这两个测试 URL，如果我将它们放在 Chrome 地址栏中，我会得到正确的页面。

如何在所有情况下正确解码 URL？ 感谢您的帮助

====回答====

感谢下面麦克道尔回答中的建议，它现在似乎可以工作了。这是我现在拥有的代码:

private static void appendBytes(ByteArrayOutputStream buf, String data) throws UnsupportedEncodingException {
  byte[] b = data.getBytes("UTF8");
  buf.write(b, 0, b.length);
}

private static byte[] parseEncodedString(String segment) throws UnsupportedEncodingException {
  ByteArrayOutputStream buf = new ByteArrayOutputStream(segment.length());
  int last = 0;
  int index = 0;
  while (index < segment.length()) {
    if (segment.charAt(index) == '%') {
      appendBytes(buf, segment.substring(last, index));
      if ((index < segment.length() + 2) &&
          ("ABCDEFabcdef0123456789".indexOf(segment.charAt(index + 1)) >= 0) &&
          ("ABCDEFabcdef0123456789".indexOf(segment.charAt(index + 2)) >= 0)) {
        buf.write((byte) Integer.parseInt(segment.substring(index + 1, index + 3), 16));
        index += 3;
      } else if ((index < segment.length() + 1) &&
                 (segment.charAt(index + 1) == '%')) {
        buf.write((byte) '%');
        index += 2;
      } else {
        buf.write((byte) '%');
        index++;
      }
      last = index;
    } else {
      index++;
    }
  }
  appendBytes(buf, segment.substring(last));
  return buf.toByteArray();
}

private static String parseEncodedString(String segment, Charset... encodings) {
  if ((segment == null) || (segment.indexOf('%') < 0)) {
    return segment;
  }
  try {
    byte[] data = parseEncodedString(segment);
    for (Charset encoding : encodings) {
      try {
        if (encoding != null) {
          return encoding.newDecoder().
              onMalformedInput(CodingErrorAction.REPORT).
              decode(ByteBuffer.wrap(data)).toString();
        }
      } catch (CharacterCodingException e) {
        // Incorrect encoding, try next one
      }
    }
  } catch (UnsupportedEncodingException e) {
    // Nothing to do
  }
  return segment;
}

Answer 1

Anv%E4ndare

作为PopoFibo says这不是有效的 UTF-8 编码序列。

你可以做一些宽容的最佳猜测解码:

public static String parse(String segment, Charset... encodings) {
  byte[] data = parse(segment);
  for (Charset encoding : encodings) {
    try {
      return encoding.newDecoder()
          .onMalformedInput(CodingErrorAction.REPORT)
          .decode(ByteBuffer.wrap(data))
          .toString();
    } catch (CharacterCodingException notThisCharset_ignore) {}
  }
  return segment;
}

private static byte[] parse(String segment) {
  ByteArrayOutputStream buf = new ByteArrayOutputStream();
  Matcher matcher = Pattern.compile("%([A-Fa-f0-9][A-Fa-f0-9])")
                          .matcher(segment);
  int last = 0;
  while (matcher.find()) {
    appendAscii(buf, segment.substring(last, matcher.start()));
    byte hex = (byte) Integer.parseInt(matcher.group(1), 16);
    buf.write(hex);
    last = matcher.end();
  }
  appendAscii(buf, segment.substring(last));
  return buf.toByteArray();
}

private static void appendAscii(ByteArrayOutputStream buf, String data) {
  byte[] b = data.getBytes(StandardCharsets.US_ASCII);
  buf.write(b, 0, b.length);
}

此代码将成功解码给定的字符串:

for (String test : Arrays.asList("Fondation_Alliance_fran%C3%A7aise",
    "Anv%E4ndare")) {
  String result = parse(test, StandardCharsets.UTF_8,
      StandardCharsets.ISO_8859_1);
  System.out.println(result);
}

请注意，这并不是允许您忽略正确 URL 编码的万无一失的系统。它在这里起作用是因为 v%E4n - 字节序列 76 E4 6E - 根据 the UTF-8 scheme 不是有效序列解码器可以检测到这一点。

如果您颠倒编码顺序，第一个字符串可以愉快地(但不正确地)解码为 ISO-8859-1。

---

备注:HTTP doesn't care关于百分比编码，您可以编写一个接受 http://foo/%%%%% 作为有效形式的网络服务器。 URI spec强制使用 UTF-8，但这是追溯完成的。真正由服务器来描述它的 URI 应该是什么形式，如果你必须处理任意 URI，你需要了解这个遗留问题。

我写了一点more about URLs and Java here .