ruby-on-rails - 有效存储和处理客户端日志的数据库

标签 ruby-on-rails database logging relational-database

所以上下文是我有一个生成日志的客户端应用程序,我想偶尔将此数据上传到后端。后端将充当分析服务器,存储、处理和显示这些数据——因此您可以想象,其中会涉及一些查询。

就数据收集峰值负载而言,我预计会有大约 5000 个客户端,每个客户端每天生成大约 50 - 100 行,我希望我正在处理的解决方案能够处理此类数据。如果你算一下,那就是每月超过 100 万条日志行。

就数据分析负载而言,它将相当低 - 我希望我们中的一些人(管理员)每周运行一次查询以从所有日志中收集一些信息。

我的应用程序目前正在运行 RoR + Postgres,但如果它能更好地满足我的需求,我愿意使用不同的 dB。目前在我脑海中的竞争者是 MongoDB 和 Cassandra,但如果 Postgres 可以扩展以完成工作,我真的不想离开它。

最佳答案

为此,我建议使用像 logstash 这样的专用工具:

http://logstash.net/

另一种选择是 Apache Flume:

http://flume.apache.org/

关于ruby-on-rails - 有效存储和处理客户端日志的数据库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21127485/

相关文章:

java derby 连接到服务器本地主机时出错 1527

logging - 方法输入/退出使用什么日志级别?

ruby-on-rails - Rails Partial (Rails 3, HAML) 任意慢

ruby-on-rails - WebPacker CI 缓存所需文件夹

ruby-on-rails - Rails 中的 SHA1 哈希

ruby-on-rails - 我如何知道用户是否可以使用 Cancan 访问全部或部分资源?

mysql - CakePHP 用户登录功能

php - Facebook 如何通知并立即显示新评论,或者 Stackoverflow 是如何做到的?

java - 在 tomcat webapp 中文件的位置

android - Twitter 日志记录和不重定向到应用程序以及如何使用回调 URL