python - 如何删除 python 数据表 h2oai 中的重复项

Question

python 中的数据表包( https://github.com/h2oai/datatable/ )可以计算列中唯一值的数量，有没有办法用这个包删除重复值，或者我必须使用慢速的 pandas 包？

Answer 1

如果您想查找单个列中的唯一值，则可以使用函数dt.unique()，该函数接受一列并返回一个新列，其中包含原始列中的所有唯一值:

>>> import datatable as dt
>>> DT = dt.Frame(A=[1, 3, 2, 1, 4, 2, 1], B=list("ABCDEFG"))
>>> dt.unique(DT["A"])
   |  A
-- + --
 0 |  1
 1 |  2
 2 |  3
 3 |  4

[4 rows x 1 column]

另一方面，如果您有一个多列框架，并且您只想保留其中一列中具有唯一值的行，那么这相当于按该列进行分组，并且可以这样处理:

>>> from datatable import f, by, first
>>> DT[:, first(f[1:]), by(f[0])]
   |  A  B 
-- + --  --
 0 |  1  A 
 1 |  2  C 
 2 |  3  B 
 3 |  4  E 

[4 rows x 2 columns]