c# - stringbuilder 保存到 CSV 文件时内存不足

Question

我需要将大型数据表(5000 行和 8880 列)保存到 CSV 文件。因此，我首先将 DataTable 保存到 StringBuilder 并使用 File.WriteAllText 保存到文件。但由于表的大小，它给了我内存不足异常。我正在考虑使用 StreamWriter。任何人都可以帮助如何使用 StreamWriter 来代替吗？

谢谢!

 StringBuilder sb = new StringBuilder();

        string[] CSVcolumnNames = sortedDT.Columns.Cast<DataColumn>().
                                          Select(column => column.ColumnName).
                                          ToArray();
        sb.AppendLine(string.Join(",", CSVcolumnNames));

        foreach (DataRow row in sortedDT.Rows)
        {
            string[] fields = row.ItemArray.Select(field => field.ToString()).
                                            ToArray();
            sb.AppendLine(string.Join(",", fields));
        }

        File.WriteAllText(CSVpath, sb.ToString());

Answer 1

不要使用File.WriteAllText()，因为它想要内存中的所有数据，请使用File.WriteAllLines() 相反(它只需要一行内存):

var source = sortedDT.Rows
  .OfType<DataRow>() 
  .Select(row => String.Join(",", row.ItemArray));

File.WriteAllLines(CSVpath, source);

如您所见，File.WriteAllLines 会为您完成所有操作，您不必使用 StreamWriter。如果您想添加标题(列名称):

var columnNames = String.Join(",", sortedDT.Columns
  .OfType<DataColumn>()
  .Select(column => column.ColumnName));

var data = sortedDT.Rows
  .OfType<DataRow>() 
  .Select(row => String.Join(",", row.ItemArray));

var source = new String[] {columnNames}
  .Concat(data);

File.WriteAllLines(CSVpath, source);