我有 4188006 行数据。我想按其列 Code 值对数据进行分组。并设置Code值为key，对应的数据为value int0 a dict`。
_a_stock_basic_data 是我的数据:
Code date_time open high low close \
0 000001.SZ 2007-03-01 19.000000 19.000000 18.100000 18.100000
1 000002.SZ 2007-03-01 14.770000 14.800000 13.860000 14.010000
2 000004.SZ 2007-03-01 6.000000 6.040000 5.810000 6.040000
3 000005.SZ 2007-03-01 4.200000 4.280000 4.000000 4.040000
4 000006.SZ 2007-03-01 13.050000 13.470000 12.910000 13.110000
... ... ... ... ... ... ...
88002 603989.SH 2015-06-30 44.950001 50.250000 41.520000 49.160000
88003 603993.SH 2015-06-30 10.930000 12.500000 10.540000 12.360000
88004 603997.SH 2015-06-30 21.400000 24.959999 20.549999 24.790001
88005 603998.SH 2015-06-30 65.110001 65.110001 65.110001 65.110001
amt volume
0 418404992 22927500
1 659624000 46246800
2 23085800 3853070
3 131162000 31942000
4 251946000 19093500
.... ....
88002 314528000 6933840
88003 532364992 46215300
88004 169784992 7503370
88005 0 0
[4188006 rows x 8 columns]
我的代码是:
_a_stock_basic_data = pandas.concat(dfs)
_all_universe = set(all_universe.values.tolist())
for _code in _all_universe:
_temp_data = _a_stock_basic_data[_a_stock_basic_data['Code']==_code]
data[_code] = _temp_data[_temp_data.notnull()]
_all_universe 包含 _a_stock_basic_data['Code']。 _all_universe的长度约为2816，而for循环的数量为2816，需要花费大量时间才能完成该过程。
所以，我只是想知道如何使用高性能方法对这些数据进行分组。我认为多处理是一种选择，但我认为共享内存是它的问题。而且我认为随着数据越来越大，代码的性能需要考虑，否则，成本会很高。感谢您的帮助。
最佳答案
我将展示一个我认为可以解决您的问题的示例。下面我创建了一个包含随机元素的数据框，其中 Code 列将具有重复值
a = pd.DataFrame({'a':np.arange(20), 'b':np.random.random(20), 'Code':np.random.random_integers(0, 10, 20)})
要按列Code分组，请将其设置为索引:
a.index = a['Code']
您现在可以使用索引通过Code的值来访问数据:
In : a.ix[8]
Out:
a b Code
Code
8 1 0.589938 8
8 3 0.030435 8
8 13 0.228775 8
8 14 0.329637 8
8 17 0.915402 8
关于python - 如何尽快将所有数据分组？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36032956/