我正在为我们的一个客户建立一个位置跟踪系统。他们在车辆上安装了 GPS 设备，每个设备都编写了服务器 IP 和端口号，我们开发了一个 TCP 监听器来监听设备发送的请求。这些设备每分钟发送一个请求。
实际问题是，每分钟有 1,00,000 万个 GPS 设备发送请求，因此存储信息非常困难，我无法找出存储来自设备的数据的最佳方法，我应该存储在文件中还是存储在内存缓存？
请帮助我找到处理此问题的最佳方法。请记住，每个 GP 设备都启用了 GPRS，并且由于它们具有互联网连接，因此它们可以与我们的后端服务器通信。
有时这些设备无法找到互联网，因为车辆将在所有地方移动，但是一旦设备获得互联网连接，它会一次发送所有数据包，假设每分钟发送一次。
所以我正在寻找解决这个问题的最佳方法，我使用的是 Java 编程语言。
提前致谢 !!!!
最佳答案
想到的一个选项是Apache Flume作为将数据收集到 Hadoop 中的一种方式。
另一个(商业)选项是 Splunk
关于java - 如何从设备读取和写入超大数据，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8631408/