pandas的好方法是获得每个组中的前n个logging
假设我有这样的pandasDataFrame:
>>> df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]}) >>> df id value 0 1 1 1 1 2 2 1 3 3 2 1 4 2 2 5 2 3 6 2 4 7 3 1 8 4 1
我想获得每个id的前2个logging的新的DataFrame,像这样:
id value 0 1 1 1 1 2 3 2 1 4 2 2 7 3 1 8 4 1
我可以通过组内编号logging来完成:
>>> dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index() >>> dfN id level_1 index value 0 1 0 0 1 1 1 1 1 2 2 1 2 2 3 3 2 0 3 1 4 2 1 4 2 5 2 2 5 3 6 2 3 6 4 7 3 0 7 1 8 4 0 8 1 >>> dfN[dfN['level_1'] <= 1][['id', 'value']] id value 0 1 1 1 1 2 3 2 1 4 2 2 7 3 1 8 4 1
但有没有更有效/优雅的方法来做到这一点? 还有更好的方法来logging每个组中的数字logging(比如SQL窗口函数row_number() )。
提前致谢。
你试过df.groupby('id').head(2)
产生的输出:
>>> df.groupby('id').head(2) id value id 1 0 1 1 1 1 2 2 3 2 1 4 2 2 3 7 3 1 4 8 4 1
(请记住,您可能需要先订购/sorting,具体取决于您的数据)
编辑:正如提问者提到的那样,使用df.groupby('id').head(2).reset_index(drop=True)
来移除多重索引并使结果变平。
>>> df.groupby('id').head(2).reset_index(drop=True) id value 0 1 1 1 1 2 2 2 1 3 2 2 4 3 1 5 4 1
从0.14.1开始 ,你现在可以在groupby
对象上做nlargest
nsmallest
操作:
In [23]: df.groupby('id')['value'].nlargest(2) Out[23]: id 1 2 3 1 2 2 6 4 5 3 3 7 1 4 8 1 dtype: int64
有一点点古怪,你也得到了原始的索引,但这可能是非常有用的,取决于你的原始索引是什么。
如果你对它不感兴趣,你可以做.reset_index(level=1, drop=True)
以完全摆脱它。
(注意: 从0.17.1开始,你也可以在DataFrameGroupBy上做到这一点,但现在只能用于Series
和SeriesGroupBy
。)