我有一个更新程序脚本，每隔几个小时针对游戏服务器上的各个区域运行一次。我希望更频繁地运行此脚本并添加更多区域。理想情况下，我希望尽可能均匀地分散 CPU 和 I/O 的负载。我曾经使用 mysql 运行这个脚本，但现在网站使用 mongodb 来处理所有事情，因此将更新程序脚本移动到 mongodb 也很有意义。当 mongodb 刷新数据库的所有更新时，我遇到了非常高的 I/O 峰值。
该脚本是用 C# 编写的，尽管我认为这不太相关。更重要的是，每次运行其中一个脚本时，我们都会进行大约 50 万到 120 万次更新。我们在代码和索引上做了一些小的优化，但此时我们陷入了如何优化实际 mongodb 设置的困境。
其他一些重要信息是我们做了这样的事情
更新({'someIdentifier':1}, $newDocument)
而不是这个:
$set:{internalName:'newName'}
不确定这是否比执行 $set 的性能差很多。
我们可以做些什么来尝试分散负载？如果这也有帮助的话，我可以为虚拟机分配更多内存。
我很高兴提供更多信息。
最佳答案
这是我的想法:
1) 正确解释您的性能问题。
到目前为止，我无法真正弄清楚问题是什么，或者您是否有问题。据我所知，您正在进行大约 1 GB 的更新，并向磁盘写入大约 1 GB 的数据......这并不令人震惊。
哦，做一些该死的测试 - 不确定这是否比执行 $set 的性能差很多。 - 你为什么不知道？您的测试结果如何？
2) 检查是否存在硬件不匹配的情况。
你的磁盘速度很慢吗？您的工作集比 RAM 大吗？
3) 询问 mongo-user 和其他 MongoDB 特定社区...
...只是因为您可能会在那里得到比这里缺乏答案更好的答案。
4) 考虑尝试 TokuMX。
等等什么？我不是刚刚指责最后一个建议基本上向他自己的产品发送垃圾邮件的人吗？
当然，这是一个新产品，刚刚被引入 Mongo(它似乎有一个 mysql 版本的时间更长一些)，但基本原理似乎是健全的。特别是，它不仅可以快速插入，还可以快速删除更新/删除。它不需要实际对相关文档进行更改，而是将插入/更新/删除消息存储在缓冲队列中作为索引结构的一部分。当缓冲区填满时，它会批量应用这些更改，这在 I/O 方面会大大提高效率。最重要的是，它在存储数据时使用压缩，这应该会额外减少 I/O - 物理上需要写入的内容更少。
到目前为止，我看到的最大缺点是，它的最佳性能是在大数据上看到的 - 如果您的数据适合 RAM，那么它在一系列测试中会输给 BTree。仍然很快，但没有那么快。
所以，是的，它是非常新的，我不会相信它可以做任何未经测试的事情，即使这样也只能用于非关键任务的东西，但它可能就是您正在寻找的东西。老实说，因为它只是一个新的索引/存储子系统......它符合 mongodb 优化的要求，而不是一个单独的产品。特别是因为 mongodb 中的索引/存储系统一直有点简单 - “让使用内存映射文件进行缓存”等。
关于c# - 尝试优化 MongoDB 的 I/O，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17584055/