c# - 使用 ODBC 连接从 DataTable 批量插入到 SQL Server 表

Question

我被要求寻找最有效的方法来获取 DataTable 输入并使用 C# 将其写入 SQL Server 表。问题是解决方案必须始终使用 ODBC 连接，这排除了 sqlBulkCopy。该解决方案还必须适用于从 SQL Server 2008 R2 开始的所有 SQL Server 版本。

我认为最好的方法是使用以下 SQL 语法一次批量插入 1000 行:

插入 dbo.Table1(Field1, Field2) 选择值 1、值 2 联盟 选择值 1、值 2

我已经编写了代码来检查 SQL Server 上是否已经存在对应于 DataTable 输入的表，如果不存在则创建一个。

我还编写了代码来创建 INSERT 语句本身。我苦苦挣扎的是如何从数据表中的行动态构建 SELECT 语句。如何访问行中的值来构建我的 SELECT 语句？我想我还需要检查每列的数据类型以确定值是否需要用单引号 (') 引起来。

这是我当前的代码:

        public bool CopyDataTable(DataTable sourceTable, OdbcConnection targetConn, string targetTable)
    {
        OdbcTransaction tran = null;
        string[] selectStatement = new string[sourceTable.Rows.Count];

        // Check if targetTable exists, create it if it doesn't
        if (!TableExists(targetConn, targetTable))
        {
            bool created = CreateTableFromDataTable(targetConn, sourceTable);

            if (!created)
                return false;
        }

        try
        {
            // Prepare insert statement based on sourceTable
            string insertStatement = string.Format("INSERT INTO [dbo].[{0}] (", targetTable);

            foreach (DataColumn dataColumn in sourceTable.Columns)
            {
                insertStatement += dataColumn + ",";
            }

            insertStatement += insertStatement.TrimEnd(',') + ") ";

            // Open connection to target db
            using (targetConn)
            {
                if (targetConn.State != ConnectionState.Open)
                    targetConn.Open();

                tran = targetConn.BeginTransaction();

                for (int i = 0; i < sourceTable.Rows.Count; i++)
                {
                    DataRow row = sourceTable.Rows[i];

                    // Need to iterate through columns in row, getting values and data types and building a SELECT statement

                    selectStatement[i] = "SELECT ";
                }

                insertStatement += string.Join(" UNION ", selectStatement);

                using (OdbcCommand cmd = new OdbcCommand(insertStatement, targetConn, tran))
                {
                    cmd.ExecuteNonQuery();
                }

                tran.Commit();
                return true;
            }
        }       
        catch 
        {
            tran.Rollback();
            return false;
        }
    }

如有任何建议，我们将不胜感激。此外，如果有比我建议的方法更简单的方法，那么任何细节都会很棒。

Answer 1

好的，因为我们不能使用存储过程或批量复制；几年前，当我对各种方法进行建模时，性能的关键决定因素是对服务器的调用次数。因此，发现将一组 MERGE 或 INSERT 语句批处理到一个由分号分隔的调用中是最快的方法。我最终批处理了我的 SQL 语句。我认为 SQL 语句的最大大小是 32k，所以我将我的批处理分成了那个大小的单元。

(注意 - 使用 StringBuilder 而不是手动连接字符串 - 它对性能有好处)

Psuedo-code
string sqlStatement = "INSERT INTO Tab1 VALUES {0},{1},{2}";
StringBuilder sqlBatch = new StringBuilder();
foreach(DataRow row in myDataTable)
{
    sqlBatch.AppendLine(string.Format(sqlStatement, row["Field1"], row["Field2"], row["Field3"]));
    sqlBatch.Append(";");
}
myOdbcConnection.ExecuteSql(sqlBatch.ToString());

您需要处理批量大小的复杂性，以及在字符串替换步骤中格式化正确的字段数据类型，否则这将是最佳性能。