sql - 在单独的数据库中查询多个相同表的最有效方法

Question

我有一台服务器 (SQL Server 2005)，其中包含多个结构相同的存档数据库(每季度 1 个，可追溯到 8 年前)。

我经常需要查询跨越 n 个数据库的特定日期范围，通常 n 很小 1-3 但我可能需要查询整个集合。

从代码清洁度和性能角度来看，有什么想法是最有效的方法吗？

当前的解决方案相当临时，有一组 View 跨越所有或仅跨越最新的数据库，其他解决方案是生成动态 SQL 来确定哪些数据库包含所查找的数据。

显然，理想的解决方案是对表进行分区，但我不能这样做，因为它是第 3 方提供的数据库

戴夫

编辑:我无法合并数据库，因为它们是第 3 方控制的，总数据大小约为 50GB，所以不是很大，最大的表每季度包含大约 150 万行

EDIT2:从长远来看，数据仓库绝对是正确的解决方案(它在计划中)但我今天不能这样做:(

Answer 1

执行此操作的一种方法:使用 sp_msForEachDb。

-- 第 1 轮 ------

使用 varchar 参数调用此系统过程。 (它实际上比这更困惑，如果你想知道它到底在做什么，请检查 master 数据库中的代码。) 该参数必须是一段动态代码——例如，

DECLARE @DemoParameter varchar(1000)
SET @DemoParameter = 'SELECT MyCol from MyTable where CreatedOn between ''Jan 1, 1980'' and ''Dec 21, 2012'''
EXECUTE sp_msForEachDb @DemoParameter

这将对 SQL 实例上的每个数据库运行查询，每个数据库返回一组——除了那些没有必要表的数据库，这会引发错误(特别是系统数据库) .这导致我们...

-- 第二轮 ----------

在动态代码中，当数据库遍历问号的所有实例时？将替换为当前正在处理的数据库的名称。您可以使用它来过滤要处理的数据库和不处理的数据库。另请注意，例程不会更改“当前”数据库，您必须自己更改。这给了我们这样的代码:

SET @DemoParameter = '

IF ''?'' like  ''%Foo%''
 BEGIN
    USE ?
    SELECT MyCol from MyTable where CreatedOn between ''Jan 1, 1980'' and ''Dec 21, 2012''

'

这将仅针对名称包含字符“foo”的那些数据库运行查询。可能您可以检查每个数据库中是否存在该表；其他方法自行提出。

这将为每个数据库快速返回一个数据集，如果您需要将它们全部放在一个整洁有序的数据集中，这并没有太大帮助，这让我们...

-- 第 3 轮 --------------

简而言之:创建一个临时表，并从动态查询中填充它。正如我在下面展示的，您可以包括数据库的名称，甚至服务器名称——当您在分布在少数服务器上的数十个数据库中查找丢失的数据时非常有用。

创建(或清除)临时表:

IF object_id('tempdb.dbo.##Foo') is null
    CREATE TABLE ##Foo
     (
       ServerName         varchar(100)  not null
      ,DBName             varchar(100)  not null

      --  Add your own columns here
      ,MyCol              int  not null
     )

ELSE
    --Option: Delete this line to not clear on each run
    TRUNCATE TABLE ##Foo

运行代码(这是我的主要模板，您可以轻松地在其中使用@DemoParameter):

EXECUTE sp_msForEachDB '
IF ''?'' like  ''%Foo%''
 BEGIN
    USE ?

    INSERT ##Foo
     select @@servername, db_name()
       ,MyCol
      from MyTable
 END
'

...这应该会生成一个包含您的数据的临时表。测试一下，我在没有实际测试代码的情况下写了这个，typso 会 silp in。(#temp 表应该和 ##temp 一样工作，我通常在临时系统支持问题上这样做)