大pandas总数不同
比方说,我有一个用户活动日志,我想要生成一个总持续时间和每天唯一用户数量的报告。
import numpy as np import pandas as pd df = pd.DataFrame({'date': ['2013-04-01','2013-04-01','2013-04-01','2013-04-02', '2013-04-02'], 'user_id': ['0001', '0001', '0002', '0002', '0002'], 'duration': [30, 15, 20, 15, 30]})
总计持续时间非常简单:
group = df.groupby('date') agg = group.aggregate({'duration': np.sum}) agg duration date 2013-04-01 65 2013-04-02 45
我想要做的是总结持续时间并同时计数区分,但我似乎无法findcount_distinct的等价物:
agg = group.aggregate({ 'duration': np.sum, 'user_id': count_distinct})
这有效,但肯定有更好的办法,不是吗?
group = df.groupby('date') agg = group.aggregate({'duration': np.sum}) agg['uv'] = df.groupby('date').user_id.nunique() agg duration uv date 2013-04-01 65 2 2013-04-02 45 1
我想我只是需要提供一个函数,返回一个Series对象的不同项目的计数到聚合函数,但我没有很多的暴露在我掌握的各种库。 另外,groupby对象似乎已经知道这个信息,所以我不是在复制努力?
如何:
>>> df date duration user_id 0 2013-04-01 30 0001 1 2013-04-01 15 0001 2 2013-04-01 20 0002 3 2013-04-02 15 0002 4 2013-04-02 30 0002 >>> df.groupby("date").agg({"duration": np.sum, "user_id": pd.Series.nunique}) duration user_id date 2013-04-01 65 2 2013-04-02 45 1 >>> df.groupby("date").agg({"duration": np.sum, "user_id": lambda x: x.nunique()}) duration user_id date 2013-04-01 65 2 2013-04-02 45 1
'nunique'现在是.agg()的一个选项,所以:
df.groupby('date').agg({'duration': 'sum', 'user_id': 'nunique'})
只要增加已经给出的答案,@Blodwyn猪解决scheme是最有效的。
这个解决scheme似乎要快得多,在大约21M行dataframe上进行testing,然后分组到大约2M
%time _=g.agg({"id": lambda x: x.nunique()}) CPU times: user 3min 3s, sys: 2.94 s, total: 3min 6s Wall time: 3min 20s %time _=g.agg({"id": pd.Series.nunique}) CPU times: user 3min 2s, sys: 2.44 s, total: 3min 4s Wall time: 3min 18s %time _=g.agg({"id": 'nunique'}) CPU times: user 14 s, sys: 4.76 s, total: 18.8 s Wall time: 24.4 s