在Pandas数据框中查找唯一值,而不考虑行或列的位置

我有一个pandas数据框,我想find该数据框中的所有唯一值…不pipe行/列。 如果我有一个10 x 10的数据框,并假设他们有84个独特的值,我需要find他们 – 不是计数。

我可以创build一个集合并通过遍历数据框的行来添加每行的值。 但是,我觉得这可能是低效的(不能certificate这一点)。 有没有一种有效的方法来find它? 有没有预定义的function?

In [1]: df = DataFrame(np.random.randint(0,10,size=100).reshape(10,10)) In [2]: df Out[2]: 0 1 2 3 4 5 6 7 8 9 0 2 2 3 2 6 1 9 9 3 3 1 1 2 5 8 5 2 5 0 6 3 2 0 7 0 7 5 5 9 1 0 3 3 5 3 2 3 7 6 8 3 8 4 4 8 0 2 2 3 9 7 1 2 7 5 3 2 8 5 6 4 3 7 0 8 6 4 2 6 5 3 3 4 5 3 2 7 7 6 0 6 6 7 1 7 5 1 8 7 4 3 1 0 6 9 7 7 3 9 5 3 4 5 2 0 8 6 4 7 In [13]: Series(df.values.ravel()).unique() Out[13]: array([9, 1, 4, 6, 0, 7, 5, 8, 3, 2]) 

Numpy独特的sorting,所以它更快地这样做(然后sorting,如果你需要)

 In [14]: df = DataFrame(np.random.randint(0,10,size=10000).reshape(100,100)) In [15]: %timeit Series(df.values.ravel()).unique() 10000 loops, best of 3: 137 ᄉs per loop In [16]: %timeit np.unique(df.values.ravel()) 1000 loops, best of 3: 270 ᄉs per loop 

或者你可以使用:

df.stack().unique()

那么你不需要担心,如果你有NaN值,因为它们在堆叠时被排除。