java - 如何在 java 中解析单词创建的特殊字符

Question

我正在尝试用 java 解析一些 word 文档。有些值是日期范围之类的东西，而不是像 Startdate - endDate 那样显示，我得到了一些像这样的时髦字符

StartDate ΓÇô EndDate

这是 word 放置特殊字符连字符的地方。您能否搜索这些字符并将它们替换为常规 - 或字符串中的某些内容，以便我可以在“-”上标记化以及该字符是什么 - ascii？ unicode 还是什么？

编辑添加一些代码:

 String projDateString = "08/2010 ΓÇô Present"
                Charset charset = Charset.forName("Cp1252");
                CharsetDecoder decoder = charset.newDecoder();
                ByteBuffer buf = ByteBuffer.wrap(projDateString.getBytes("Cp1252"));
                CharBuffer cbuf = decoder.decode(buf); 
                String s = cbuf.toString();
                println ("S: " + s)

                println("projDatestring: " + projDateString)

输出如下:

S: 08/2010 ΓÇô Present
projDatestring: 08/2010 ΓÇô Present

此外，使用上面相同的 projDateString，如果我这样做:

projDateString.replaceAll("\u0096", "\u2013");
projDateString.replaceAll("\u0097", "\u2014");

然后打印出projDateString，它仍然打印为

projDatestring: 08/2010 ΓÇô Present

Answer 1

您可能得到的是 Windows-1252，它是一个字符集，而不是编码。 (Torgamus - 谷歌搜索 Windows-1232 没有给我任何信息。)

Windows-1252，以前称为“Cp1252”，几乎是 Unicode，但在相同位置保留了一些来自 Cp1252 的字符。 En Dash 是属于 Unicode C1 的字符 150 (0x96)保留的控制字符范围，不应存在。

您可以搜索字符 150 并将其替换为 \u2013这是 En Dash 的正确 Unicode 代码点。

MS 在 0x80 到 0x9f 范围内还有很多其他字符，这些字符在 Unicode 标准中保留，包括 Em Dash、项目符号及其“智能”引号。

---

编辑:顺便说一句，Java 在内部对字符使用 Unicode 代码点值。 UTF-8 是一种编码，Java 在将字符串写入文件或网络连接时将其用作默认编码。

---

说你有

String stuff = MSWordUtil.getNextChunkOfText();

在哪里MSWordUtil将是您为了以某种方式获取 MS-Word .doc 文件的片段而编写的内容。它可能归结为

File myDocFile = new File(pathAndFileFromUser);
InputStream input = new FileInputStream(myDocFile);
// and then start reading chunks of the file

默认情况下，当您从文件中读取字节缓冲区并从中生成字符串时，Java 会将其视为 UTF-8 编码文本。正如 Torgamus 勋爵所说，有一些方法可以告诉应该使用什么编码，但如果不这样做，Windows-1252 非常接近 UTF-8，除了 C1 中的那些讨厌的字符控制范围。

在得到一些类似 stuff 的字符串之后在上面，你不会找到 \u2013或 \u2014在其中，您会找到 0x96 和 0x97。

那时候你应该可以做

stuff.replaceAll("\u0096", "\u2013");

在我不得不处理这个问题的代码中，我没有这样做。我循环输入 CharSequence一次一个字符，根据 0x80 <= charValue <= 0x9f 决定如果它必须被替换，并在数组中查找用什么替换它。如果您只关心 1252 En Dash 与 Unicode En Dash，则上面的 replaceAll() 会容易得多。