c# - 使用 SqlBulkCopy 填充非常大的表的最佳方法是什么？

Question

每晚，我都需要从 ODBC 源填充 SQL Server 2005 表，其中包含超过 800 万条记录。目前，我正在使用来自链接服务器的插入语句，其语法选择类似于以下内容:

Insert Into SQLStagingTable from Select * from OpenQuery(ODBCSource, 'Select * from SourceTable')

这确实效率低下并且需要几个小时才能运行。我正在使用 SqlBulkInsert 代码编写一个解决方案，类似于 this question 中的代码。 。

该问题中的代码首先填充内存中的数据表，然后将该数据表传递给 SqlBulkInserts WriteToServer 方法。

如果填充的数据表使用的内存多于其运行的计算机(在我的情况下为具有 16GB 内存的服务器)上的可用内存，我该怎么办？

我考虑过使用重载的 ODBCDataAdapter fill方法，该方法允许您仅填充从 x 到 n 的记录(其中 x 是起始索引，n 是要填充的记录数)。然而，这可能是一个比我目前拥有的解决方案更慢的解决方案，因为这意味着在源上多次重新运行 select 语句。

我该怎么办？只需立即填充整个内容并让操作系统管理内存？我应该分块填充它吗？还有其他我没有想到的解决方案吗？

Answer 1

最简单的方法是对 odbc 数据源使用 ExecuteReader() 并传递 IDataReader到WriteToServer(IDataReader)过载。

大多数数据读取器实现只会将总结果的一小部分保留在内存中。