我正在从事一项旨在研究人们行为的学术项目。
该项目将分为三个部分:
- 一个程序，用于从一些远程源读取数据，并用它构建一个本地数据池。
- 用于验证此数据池并使其保持一致的程序
- 允许人们读取/操作数据的网络界面。
数据由一个人的列表组成，所有人都有一个 ID #，并具有几个特征:高度、体重、年龄……
我需要轻松地根据这些数据进行分组(例如:所有数据都具有给定的年龄或一定的高度范围)并且数据有几 TB 大(但可以减少为 2-3 gb 的较小子集)。
我对项目背后的理论知识有很强的背景，但我不是计算机科学家。我会 java、C 和 Matlab，现在我正在学习 python。
我想使用 python，因为它看起来很简单，并且大大减少了 Java 的冗长。问题是我想知道如何处理数据池。
我不是数据库专家，但我想我需要一个。你认为我应该使用什么工具？
请记住，目标是在数据集上实现非常高级的数学函数，因此我们希望降低源代码的复杂性。速度不是问题。
最佳答案
听起来可以从以下位置找到所需的主要功能:
pytables
和
scipy/numpy
关于python - 在 python 中处理大型数据池，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/5529075/