elasticsearch - 用于分析和存储应用程序日志的 BigQuery 与 Elasticsearch

我正在研究使用 BigQuery 来深入了解应用程序日志文件的优点。日志由 Java 和 C# 应用程序生成，其中大部分在基于云的 VM 上。我很想知道其他人是否已经这样做了，以及 BigQuery 与 ElasticSearch/Logstash/Kibana 的相对优点。

BigQuery 的优势似乎在于它可以处理大量数据，而 ELK 解决方案似乎更适合日志文件的非结构化性质，尤其是当它们来自不同系统时。

我还想在仪表板上显示信息。 Kibana 似乎非常适合这一点。使用 Google 解决方案(使用 Google 表格等)创建仪表板有多容易？

想法、用例？

最佳答案

2017 年更新:GCP 正式支持 Elastic

Elasticsearch 和 BigQuery 配合得很好。 BigQuery 将尽可能多地获取您拥有的数据，并在几秒钟内以您想要的任何方式查询它。同时，经过良好调整的 Elasticsearch 安装将在不到一秒钟内为您提供答案，但仅限于对有限数据量的某些查询。

请参阅 Ory 在 Rounds 发表的这篇文章，其中详细说明了他们如何使用这两种方法:

两个顶级标题总结了他们这样做的原因:

关于elasticsearch - 用于分析和存储应用程序日志的 BigQuery 与 Elasticsearch，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38420123/