我需要在我的应用程序中构建某种分析功能。在高峰时段,我预计每秒会收到 15K 条新记录。为了提高速度,我将使用 Redis 进行写入。但是写入的数据应该被格式化并以某种方式发送到 BigQuery for OLAP。最有效的方法是什么?
我可以想到两种方法:
- 有一个单独的应用程序将连接到同一个应用程序 Redis实例/集群并定期获取写入的数据和 使用他们的 API 批量插入到 BigQuery。
- 使用 Lua 脚本定期发送 Redis 键和值到 BigQuery。
根据我的阅读和研究,Lua 脚本似乎是一个快速的解决方案。但是我没有任何经验,也不知道有什么限制。例如,我可以通过 Redis 运行的 Lua 脚本发送 HTTP API 调用吗?错误处理呢?
问题是:
为了满足我上面提到的需求,您有什么建议?
- a) 一个单独的应用
- b) Lua脚本
- c) 混合
- d) 其他(那么,什么?)
当然,为什么?
谢谢
最佳答案
您尝试过 AfterShip BigQuery 流媒体吗?
它似乎完全可以满足您的需求:“这是一个使用流插入模式将 Redis 记录传输到 Google BigQuery 的流媒体。”
关于lua - 如何定时向第三方服务发送Redis数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35714138/