c# - 将巨大的 sql 转储文件拆分成尽可能小的 block

Question

我正在尝试使用 C# 将巨大的 SQL 文件(超过几 GB)上传到远程 mysql 服务器。

有什么标准的方法吗？

1. 开始将 SQL 文件读入内存
2. 一旦我们有可用的东西就停止
3. 执行那个位
4. 从内存中删除那位
5. 阅读到下一个可用部分
6. 等等

还是我必须自己写一个正则表达式或什么的？文件太大，无法一次性读入内存。

其中一个 sql 文件的开始(如果有帮助的话)

-- MySQL dump 10.13  Distrib 5.1.49, for debian-linux-gnu (x86_64)
--
-- Host: localhost    Database: qqqq
-- ------------------------------------------------------
-- Server version   5.1.49-3

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES utf8 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

--
-- Current Database: `qqqq`
--

CREATE DATABASE /*!32312 IF NOT EXISTS*/ `qqqq` /*!40100 DEFAULT CHARACTER SET latin1 */;

USE `qqqq`;

--
-- Table structure for table `config`
--

DROP TABLE IF EXISTS `config`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `config` (
  `name` varchar(200) NOT NULL,
  `value` varchar(200) NOT NULL,
  `timestamp` int(11) NOT NULL,
  UNIQUE KEY `name` (`name`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `config`
--

LOCK TABLES `config` WRITE;
/*!40000 ALTER TABLE `config` DISABLE KEYS */;
INSERT INTO `config` VALUES ('someConfigValue','324',0),('someConfigValue2','27',0),('someConfigValue3','0',0);
/*!40000 ALTER TABLE `config` ENABLE KEYS */;
UNLOCK TABLES;

我想我不能每次都拆分它;发生，因为其中一个也可能位于文本字符串中。

Answer 1

由于您已通过 mysqldump 实用程序创建了此转储，因此我建议您部分转储。以下是部分转储的一些技巧。

按表拆分

如果你有很多表，你可以按表拆分转储过程

mysqldump database table1 > table.sql
mysqldump database table2 table3 > table2-3.sql

按行拆分

如果有些表有数百万行，您可以在转储时按行拆分它。假设您有一个表 bigtable 并且它有一个自动列 id，以下 2 个命令将其拆分为奇偶编号的自动列。

mysqldump --where="id%2=1" database bigtable  > bigtable_part1.sql
mysqldump --where="id%2=0" database bigtable  > bigtable_part2.sql

如果没有自动列，您需要依赖其他启发式方法。

mysqldump --where="gender='M'" database users  > users_male.sql
mysqldump --where="gender='F'" database users  > users_female.sql