c# - 如何在.NET 中读取包含 Unicode 的 xml 文本文件，然后将其保存到数据库中？

Question

我的任务是读取一些文件数据，对其进行处理，然后将此数据保存到数据库中。

最近，我们开始注意到系统中出现“奇怪”的字符。看起来这是 Unicode 字符的经典案例，我们(开发人员)未能预见到，但当然应该预见到。

我们不确定处理这些数据所需的正确方法，以便最终将其正确地存​​入数据库。

这是高级流程:

• 数据通过 FTP 到达在文件中。 ( xml 文件，顺便说一句。例如 hi.xml 、 foo.xml 等)
• 我们读取文件，将数据拆分为类实例(XML 元素数组中的每个元素)
• 将每个实例存储到某个 Azure queue .
• 另一个进程弹出队列消息，然后读取/清理/执行操作
• 最后，将此数据保存到我们的 Sql Server .

我们无法控制输入源 - 由第三方处理。

那么 - 在 .NET 环境中，我们需要确保我们正在处理的主要信息是什么。就像..伪代码的东西..

• 当我们读取xml文件数据时，我们必须确保我们以某种方式读取它并支持Unicode？
• 我们是否可以安全地假设这应该全部是 UTF-8？ (提示:我们的输入源人员可能不知道 Unicode 是什么……更不用说 UTF-8、16 等了)。另外，并非所有 xml 声明(我们收到的)都有任何 encoding="UTF-8/16/<anything>"在其 xml header /第 1 行中定义。
• 我们如何正确地将这些数据(一旦我们将其放入类实例中)“保存”到队列中。现在，我们正在将类序列化为 JSON 字符串，以便我们可以轻松地在其他进程/下一步中将其反序列化
• 数据库字段需要为NVARCHAR (对比 VARCHAR )

我正在研究我们需要满足的要点(相对于.NET)，这样我们就可以读取->传递->最终从文件->队列->数据库中写入一些Unicode数据，而不会丢失或修改任何数据的这个。

旁白:如果我们收到不良数据，当然，我们无能为力。例如上游数据源在将其数据通过 FTP 发送给我们之前错误地将序列化为文件。

假设:上面的示例文件显示了一些奇怪的字符。该文件在 Visual Studio 中查看。假设这些字符是 Unicode，这就是 VS 显示它们的方式。与...这不是 Unicode，而是错误地保存了源 Unicode 的文件。

引用文献(作为我事先尝试阅读一些内容的证据):

• 我创建的相关 SO 问题是为了确认源数据是好还是坏:Is this a valid UTF8 character in this xml file?
• 此 Unicode 字符存在于我们的示例文件中 => What is this character? â\u0080\u0099
• 来自 TheMan 本人:http://csharpindepth.com/Articles/General/Unicode.aspx
• 可能的 nuget 包可以完成所有繁重的工作:https://github.com/neosmart/unicode.net
• 初学者介绍:https://www.codeproject.com/Articles/885262/Reading-and-writing-Unicode-data-in-NET

Answer 1

解决方案是正确选择编码。编码是二进制数据转换为字符串时使用的格式。当数据离开一个特定环境并进入下一个特定环境时，您必须特别注意。您必须确保在每次转换中都不会丢失数据(例如，如果链中存在 ASCII 格式，您将丢失一些信息)。丢失的信息无法恢复。

您必须处理以下转换，并且必须单独处理:

1. 从 XML 到 .NET 字符串的转换。
2. (也许)从 .NET 到队列的转换。
3. (也许)从队列到工作进程的转换。
4. 从工作进程到数据库的转换。

我假设您已经控制了转换 2. 和 3.(如果一切都是 .NET，那么这里根本没有问题)。关键问题是 1. 和 4.(但我也会处理 2.，因为你问题的第三部分提到了它)。

将 XML 读入 .NET

根据 XML 标准，XML 文件的编码可以在 XML 声明中声明，由字节顺序标记确定，也可以从外部源(例如 HTTP header )获知。在 the relevant document 的第 4.3.3 章中它说:

In the absence of information provided by an external transport protocol (e.g. HTTP or MIME), it is an error for an entity including an encoding declaration to be presented to the XML processor in an encoding other than that named in the declaration, or for an entity which begins with neither a Byte Order Mark nor an encoding declaration to use an encoding other than UTF-8.

这意味着，如果您收到的文档没有 XML 声明(标准允许)或 BOM，则必须假定它们是 UTF-8。当然，在实践中，并不总是遵循标准，因此您收到的数据格式是否正确取决于您的源与标准的严格程度(指您的第一个问题)。如果可以的话，你应该澄清这一点。根据拒绝无效数据的灵活性，您还可以决定遵循 XML 标准(这就是标准的用途)，并让源负责确保数据正确。

如果您直接使用 System.Xml 和/或 System.Xml.Linq 命名空间中的 .NET 类，尤其是直接使用 XmlReader在二进制源上(不将其转换为字符串)，会自动评估 XML 声明和 BOM，并以正确的格式读取 XML。直接从流创建 XML 读取器很简单:

Stream inputStream;
// Create a stream from your data, depending on the source (e.g. FileStream)
XmlReader reader = XmlReader.Create(inputStream);
// Use the reader

这种方式提供了完整的 unicode 支持(这应该可以回答您的第一个问题)。

将数据保存到队列

如果您对创建 JSON 的解决方案感到满意，则不应更改它。用于存储数据的编码与您使用的高级格式(纯文本、JSON、XML 等)无关。只要您使用 .NET，字符串就会以 Unicode 存储，并且您不会丢失任何数据。但是，如果您在流程链中有任何序列化/反序列化，请确保使用不涉及数据丢失的匹配编码进行序列化和反序列化(可以是 UTF-8 或 Unicode，无论您的场景中哪种更有效)。

将数据保存到数据库

根据您的源数据，您可以选择可以存储您可能遇到的任何字符的排序规则(当然您需要首先知道这一点)并使用 VARCHAR 或者您可以使用 NVARCHAR，它将能够存储任何可能的 Unicode 文本。前者使用较少的存储空间，但如果在输入数据中发现一些意外字符，可能会导致一些数据丢失。后者可以存储任何东西，但需要双倍的空间。