<分区>
这是一个相对广泛的问题，我知道我可能需要使用工具来解决这样的问题(例如 Spark、Kafka 和 Hadoop)，但我正在从经验丰富的专业人士的角度寻找具体的愿景
手头的问题是这样的:
我们正在使用类似谷歌分析的服务，它向我们发送事件流。事件是在页面上执行的操作。它可以是单击按钮、鼠标移动、页面滚动或我们定义的自定义事件。
{
"query_params":[
],
"device_type":"Desktop",
"browser_string":"Chrome 47.0.2526",
"ip":"62.82.34.0",
"screen_colors":"24",
"os":"Mac OS X",
"browser_version":"47.0.2526",
"session":1,
"country_code":"ES",
"document_encoding":"UTF-8",
"city":"Palma De Mallorca",
"tz":"Europe/Madrid",
"uuid":"A37F2D3A4B99FF003132D662EFEEAFCA",
"combination_goals_facet_term":"c2_g1",
"ts":1452015428,
"hour_of_day":17,
"os_version":"10.11.2",
"experiment":465,
"user_time":"2016-01-05T17:37:10.675000",
"direct_traffic":false,
"combination":"2",
"search_traffic":false,
"returning_visitor":false,
"hit_time":"2016-01-05T17:37:08",
"user_language":"es",
"device":"Other",
"active_goals":[
1
],
"account":196,
"url”:”http://someurl.com”,
“action”:”click”,
"country":"Spain",
"region":"Islas Baleares",
"day_of_week":"Tuesday",
"converted_goals":[
],
"social_traffic":false,
"converted_goals_info":[
],
"referrer”:”http://www.google.com”,
"browser":"Chrome",
"ua":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36",
"email_traffic":false
}
现在我们需要构建一个解决方案来分析这些数据。我们需要做一个报告平台，可以聚合、过滤和切分数据。
我们需要构建的报告的一个例子是
显示所有来自美国并使用 chrome 浏览器和在 iPhone 上使用该浏览器的用户。
或
显示来自 referrer = “http://www.google.com 的所有用户对特定按钮的点击总和” 并且总部位于印度以外，正在使用 Desktop。 一天之内，该服务发送数百万个此类事件，每天的数据量达 GB。
下面是我的具体疑惑
- 我们应该如何存储如此庞大的数据
- 我们应该如何使自己能够实时分析数据。
- 查询系统应该如何在这里工作(我对这部分比较无知)
- 如果我们要维护大约 4 TB 的数据，我们估计这些数据会在 3 个月内累积，那么保留这些数据的策略应该是什么。我们应该何时以及如何删除它？