背景:
我正在设置我的第一个 flex 堆栈,尽管我将开始简单,但是我想确保我从良好的体系结构开始。我最终希望有以下解决方案:托管指标,服务器日志(expressjs APM),单页应用程序监视(APM RUM js代理),Redis指标,MongoDB指标和自定义事件分析(即:销售,客户已取消)等)。
问题:
我应该将所有这些存储在一个Elasticsearch集群上,并使用搜索过滤掉不同的情况,还是应该为每个情况创建一个单独的实例,并根据角色明确定义它们。
(我希望使用单个数据湖)
最佳答案
用于记录用例:
有关指标:
在这两种情况下,您都将需要存储集群快照。
我个人建议使用ELK记录用例,而Promethous用作度量。
报告/分析:
对于每月和每年的报告/分析这样的用例,日志数据将非常庞大,您需要将文件共享中的数据提取到hadoop中以进行汇总/基于某些字段汇总,然后再提取将减少的数据转换为ELK可以将大小减少1000倍,并减少计算需求。
关于elasticsearch - 日志,度量标准和分析数据都应归入一个数据湖还是应单独存储?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53121856/