c# - 如何从具有 1000 万行的数据表中获取不同的行？

Question

我正在从 XML 文件读取数据，我的 xml 文件包含超过 1000 万行。 我的 XML 文件包含重复的行。我想从 xml 中区分行并将其插入数据库。

我尝试使用: string myXMLfile = System.Configuration.ConfigurationSettings.AppSettings.Get("ReadFilePath").ToString();

 System.IO.FileStream fsReadXml = new System.IO.FileStream(myXMLfile, System.IO.FileMode.Open);
 数据集 dsFileRecords = new DataSet();
 dsFileRecords.ReadXml(fsReadXml);

DataTable dtUniqRecords = dt.DefaultView.ToTable(true, "ID","Name");

//从 Datatable(dtUniqRecords) 向数据库插入行

但是这种方法很费时间。还有其他获取不同行的方法吗？

Answer 1

如果数据库是基于 SQL 的，您可以使用 SELECT DISTINCT。这将比您在 C# 中执行的任何操作都快得多。

编辑:您真的无能为力。如果可行，切换到嵌入式 DBMS(例如 SQLite)是您的最佳选择。