Xml 或 Sqlite，何时为数据库删除 Xml？

Question

<分区>

Answer 1

伙计，我有这方面的经验。我在一个项目中工作，我们最初使用 XML 存储所有数据，然后转移到 SQLite。每种技术都有很多优点和缺点，但导致转换的是性能。这是我们观察到的。

对于小型数据库(几兆或更小)，XML 速度更快，也更容易处理。我们的数据自然采用树格式，这使 XML 更具吸引力，而 XPath 允许我们在一行中执行许多查询，而不必沿着祖先树走下去。

我们在 Win32 环境中编程，并使用标准的 Microsoft DOM 库。我们会将所有数据加载到内存中，将其解析为 DOM 树，然后在内存副本上进行搜索、添加和修改。我们会定期保存数据，并且需要轮换副本以防机器在写入过程中崩溃。

我们还需要使用 C++ TreeMap 手动构建一些“索引”。这对于 SQL 来说当然是微不足道的。

请注意，文件系统上的数据大小比“内存中”DOM 树小 2-4 倍。

当数据达到 10M-100M 大小时，我们开始遇到真正的问题。有趣的是，在所有数据大小下，XML 处理都比 SQLite 快得多(因为它在内存中，而不是在硬盘驱动器上)!问题实际上是双重的——首先，加载时间真的开始变长了。在数据进入内存并构建 map 之前，我们需要等待一分钟左右。当然，一旦加载程序就非常快。第二个问题是所有这些内存一直都被占用。即使我们运行得非常快，只有几百兆的系统在其他应用程序中也会无响应。

我们实际上正在研究使用基于文件系统的 XML 数据库。有几个开源版本的 XML 数据库，我们试过了。我从未尝试过使用商业 XML 数据库，所以我无法对它们发表评论。不幸的是，我们根本无法让 XML 数据库正常工作。甚至用数百兆的 XML 填充数据库的行为也需要数小时……也许我们使用不正确。另一个问题是这些数据库非常重量级。他们需要 Java 并拥有完整的客户端服务器架构。我们放弃了这个想法。

然后我们找到了SQLite。它解决了我们的问题，但也付出了代价。当我们最初插入 SQLite 时，内存和加载时间问题就消失了。不幸的是，由于所有处理现在都在硬盘驱动器上完成，因此后台处理负载大大增加。早些时候我们甚至从未注意到 CPU 负载，但现在处理器使用率大幅上升。我们需要优化代码，并且仍然需要在内存中保留一些数据。我们还需要将许多简单的 XPath 查询重写为复杂的多查询算法。

下面是我们所学内容的总结。

1. 对于树数据，XML 使用 XPath 更容易查询和修改。

2. 对于小型数据集(小于 10M)，XML 在性能上击败了 SQLite。

3. 对于大型数据集(大于 10M-100M)，XML 加载时间和内存使用成为一个大问题，以至于某些计算机变得无法使用。

4. 我们无法获得任何开源 XML 数据库来解决与大型数据集相关的问题。

5. SQLite 没有 XML DOM 的内存问题，但它处理数据的速度通常较慢(它在硬盘驱动器上，而不是在内存中)。 (注意 - SQLite 表可以存储在内存中，也许这会使它变得更快......我们没有尝试这个因为我们想从内存中获取数据。)

6. 在表中存储和查询树数据并不令人愉快。然而，管理事务和索引部分弥补了这一点。