node.js - 如何处理大量并发用户的插入/更新和计数器

标签 node.js mongodb api concurrency redis

我正在编写一个 API,它在大多数时间会有中等流量,但在某些时候它会有很多并发用户。 假设 API 应该能够在“突发模式”下每秒处理至少 10 000 个请求。

当 API 收到请求时需要做两件事(简化)。
1) 从数据库中获取一个计数器。
2) 如果计数器低于 500 -> 向数据库插入新行并增加计数器。如果计数器达到 500,则不执行插入而返回响应。

我的问题是:当我有这么多并发请求时,处理这种情况的最佳做法是什么?
我在考虑如何确保永远不会插入超过 500 行。
你会如何设计数据库?
如何保证数据库并发?
如何在不导致服务器/云爆炸的情况下处理如此多的并发用户?
我真的不应该考虑哪些编程语言(主要与哪些网络服务器/语言可以处理如此多的请求/秒有关)?

我可以更详细地介绍托管、编程语言、数据库选择和缓存 - 但我不是故意这样做的。
可以这么说,我最初打算使用 heroku 或大容量 digital ocean 计划,因为它涉及托管、 Node (带有 restify)作为语言、mongo 和 redis 作为数据库/缓存——但我想获得一些最佳实践和在我详细介绍之前提示。

最佳答案

在不接触您的应用程序的情况下,我们无法做出更好的猜测。我只是建议您估计可能不适合您的实际情况,但您可以根据负载和响应时间、数据(文档大小)扩展或缩小。由于并发写入的文档级锁定,最好使用有线 Tiger 存储引擎而不是 Mm​​apv1。

如果你有更多的并发读取请求和较少的并发写入请求(一天总共 500 次并不痛苦)但并发量不多,那么复制(1 主和 2 从)就足够了。

如果您同时有很多写请求(20 到 50),那么它可能会减慢读取速度,因此您可以使用分片。 (3 个分片,每个分片有 1 个副本,3 个配置服务器,每个副本上运行 3 个 mongos)。

随着写入请求的增加,您可以增加分片,对于读取请求,您可以增加副本。但是最好对 NoSql 类型的数据库进行最大的最佳配置,你知道将来数据会快速增加。如果您不关心您将不得不为数据库服务器的管理付出努力,这可能还会花费您的应用程序性能一段时间。

关于node.js - 如何处理大量并发用户的插入/更新和计数器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33014190/

相关文章:

node.js - HAProxy 配置 - 如何使 TCP 连接保持粘性(Node.js、socket.io、websocket、FlashSocket)

http - 如何在 node.js http 客户端中设置套接字连接超时

mongodb - 依赖服务器端的 GraphQL 枚举验证

javascript - 如何使用 jQuery/JavaScript 在表单提交上创建数据结构?

javascript - Electron - 关闭初始窗口但让 child 保持打开状态

node.js - 安装 Yeoman - "Yo command not found"

node.js - mongoose Document#update 的所有可能回调参数是什么?

javascript - 公理 : How to run multiple requests one after the other?

php - 处理用户使用 PayPal 付款后的数据

javascript - Soundcloud 在 Javascript 中保持连接