delphi - 检测 'text' 文件类型(ANSI 与 UTF-8)

Question

我在 Delphi (7) 中编写了一个应用程序(心理测试考试)，它创建了一个标准文本文件 - 即该文件的类型为 ANSI。

有人将该程序移植到 Internet 上运行，可能使用 Java，生成的文本文件是 UTF-8 类型。

读取这些结果文件的程序必须读取由 Delphi 创建的文件和通过 Internet 创建的文件。

虽然我可以将 UTF-8 文本转换为 ANSI(使用巧妙命名的函数 UTF8ToANSI)，但我如何提前知道我拥有哪种类型的文件？

鉴于我“拥有”文件格式，我认为处理此问题的最简单方法是在文件中的已知位置放置一个标记，这将告诉我程序的来源(Delphi/Internet)，但这似乎是作弊。

提前致谢。

Answer 1

没有 100% 确定的方法可以从 UTF-8 编码中识别 ANSI(例如 Windows-1250)编码。有些 ANSI 文件不能是有效的 UTF-8，但是每个有效的 UTF-8 文件也可能是不同的 ANSI 文件。 (更不用说纯 ASCII 数据，根据定义，它们都是 ANSI 和 UTF-8，但这纯粹是理论上的问题。)

例如，序列 C4 8D 可能是 UTF-8 中的“č”字符，也可能是 windows-1250 中的“䍔。两者都是可能的，也是正确的。然而，例如8D 9A 在 windows-1250 中可以是“Ťš”，但它不是有效的 UTF-8 字符串。

你必须诉诸某种启发式方法，例如

1. 如果文件包含的序列不是有效的 UTF-8，则假定它是 ANSI。
2. 否则，如果文件以 UTF-8 BOM (EF BB BF) 开头，则假定它是 UTF-8(可能不是，但是，以此类字符开头的纯文本 ANSI 文件的可能性很小)。
3. 否则，假设它是 UTF-8。 (或者，尝试更多启发式方法，可能使用文本语言知识等)

另请参阅the method used by Notepad .