redis - Storm 和Redis

标签 redis apache-storm

我正在尝试通过实时分析解决问题。我想实时计算值。我接收流式数据并使用 Kafka 和 Storm 对其进行处理,最后将其写入 Redis。现在我想再次将存储在 Redis 中的所有数据推/拉到 Storm 中,以便用它做进一步的计算。问题是,这必须每分钟重复一次。因此,每分钟都必须拉取/推送和计算来自 Redis 的所有值。我不知道这是否是解决我的问题的正确方法,但我需要一种缓存。你有什么建议吗?

提前谢谢你。

问候

最佳答案

你可以改用德鲁伊。它将值存储在 kafka 中并使用 storm 来插入值。它是基于列的存储,专为实时分析而设计。 Redis 很快,但是你不能用redis 实现所有的分析需求,要实现简单的group by or order by 查询你需要自己写实现逻辑,而druid 就是专门为这个目的服务的。

http://druid.io/

希望这对您有所帮助。

关于redis - Storm 和Redis,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38382313/

相关文章:

ruby-on-rails-3 - Resque with Rails 3 + Heroku + RedisToGo 给出 Postgresql 错误

node.js - JWT 撤销信息存放在哪里,mongoDB 还是 Redis?

maven - Apache Storm 启动器 : Intellij IDEA: Cannot resolve symbol 'LocalCluster' ; Cannot resolve symbol 'LocalDPRC'

Maven 更改包名称的技巧

python - Tornado -redis : LPOP works but BLPOP doesn't?

redis - 可以在redis中存储排序集的最大值/精度是多少

ruby-on-rails - $redis 全局变量与 ruby​​ on rails

java - Apache Storm - log4j2 始终打印自己的日志,即使我关闭根记录器

python - IRichBolt 在storm-1.0.0 和 pyleus-0.3.0 上运行拓扑时出错

apache-storm - 将storm的字数统计拓扑与kafka集成