将Pandas GroupBy对象转换为DataFrame
我从这样的input数据开始
df1 = pandas.DataFrame( { "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } )
当打印时显示为:
City Name 0 Seattle Alice 1 Seattle Bob 2 Portland Mallory 3 Seattle Mallory 4 Seattle Bob 5 Portland Mallory
分组非常简单:
g1 = df1.groupby( [ "Name", "City"] ).count()
并打印产生一个GroupBy
对象:
City Name Name City Alice Seattle 1 1 Bob Seattle 2 2 Mallory Portland 2 2 Seattle 1 1
但最终我想要的是另一个DataFrame对象,其中包含GroupBy对象中的所有行。 换句话说,我想得到以下结果:
City Name Name City Alice Seattle 1 1 Bob Seattle 2 2 Mallory Portland 2 2 Mallory Seattle 1 1
我不能完全看到如何在pandas文档中做到这一点。 任何提示将受到欢迎。
g1
这里是一个DataFrame。 不过,它有一个分层索引:
In [19]: type(g1) Out[19]: pandas.core.frame.DataFrame In [20]: g1.index Out[20]: MultiIndex([('Alice', 'Seattle'), ('Bob', 'Seattle'), ('Mallory', 'Portland'), ('Mallory', 'Seattle')], dtype=object)
也许你想要这样的东西?
In [21]: g1.add_suffix('_Count').reset_index() Out[21]: Name City City_Count Name_Count 0 Alice Seattle 1 1 1 Bob Seattle 2 2 2 Mallory Portland 2 2 3 Mallory Seattle 1 1
或者类似的东西:
In [36]: DataFrame({'count' : df1.groupby( [ "Name", "City"] ).size()}).reset_index() Out[36]: Name City count 0 Alice Seattle 1 1 Bob Seattle 2 2 Mallory Portland 2 3 Mallory Seattle 1
我想稍微改变Wes的答案,因为版本0.16.2需要设置as_index=False
。 如果你不设置它,你会得到空的数据框。
来源 :
当
as_index=True
(默认值)时,聚合函数将不会返回您正在聚合的组。 分组的列将是返回对象的索引。传递
as_index=False
将返回您正在聚合的组,如果它们是命名列。聚合函数是减less返回对象维度的函数,例如:
mean
,sum
,size
,count
,std
,var
,sem
,describe
,first
,last
,nth
,min
,max
。 例如,当您执行DataFrame.sum()
时会发生这种情况,并返回一个Series
。nth可以作为一个reducer或filter,看到这里 。
import pandas as pd df1 = pd.DataFrame({"Name":["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"], "City":["Seattle","Seattle","Portland","Seattle","Seattle","Portland"]}) print df1 # # City Name #0 Seattle Alice #1 Seattle Bob #2 Portland Mallory #3 Seattle Mallory #4 Seattle Bob #5 Portland Mallory # g1 = df1.groupby(["Name", "City"], as_index=False).count() print g1 # # City Name #Name City #Alice Seattle 1 1 #Bob Seattle 2 2 #Mallory Portland 2 2 # Seattle 1 1 #
编辑:
在版本0.17.1
及更高版本中,您可以在count
使用subset
在参数name
中使用reset_index
:
print df1.groupby(["Name", "City"], as_index=False ).count() #IndexError: list index out of range print df1.groupby(["Name", "City"]).count() #Empty DataFrame #Columns: [] #Index: [(Alice, Seattle), (Bob, Seattle), (Mallory, Portland), (Mallory, Seattle)] print df1.groupby(["Name", "City"])[['Name','City']].count() # Name City #Name City #Alice Seattle 1 1 #Bob Seattle 2 2 #Mallory Portland 2 2 # Seattle 1 1 print df1.groupby(["Name", "City"]).size().reset_index(name='count') # Name City count #0 Alice Seattle 1 #1 Bob Seattle 2 #2 Mallory Portland 2 #3 Mallory Seattle 1
count
和size
之间的差异是size
计数NaN值,而count
没有。
简单地说,这应该完成这个任务:
import pandas as pd grouped_df = df1.groupby( [ "Name", "City"] ) pd.DataFrame(grouped_df.size().reset_index(name = "Group_Count"))
这里,grouped_df.size()提取唯一的groupby计数,而reset_index()方法重置所需列的名称。 最后,调用pandas Dataframe()函数来创buildDataFrame对象。
我发现这对我有用。
import numpy as np import pandas as pd df1 = pd.DataFrame({ "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"]}) df1['City_count'] = 1 df1['Name_count'] = 1 df1.groupby(['Name', 'City'], as_index=False).count()
也许我误解了这个问题,但是如果你想将groupby转换回数据框,你可以使用.to_frame()。 当我这样做时,我想重置索引,所以我也包含了这个部分。
与问题无关的示例代码
df = df['TIME'].groupby(df['Name']).min() df = df.to_frame() df = df.reset_index(level=['Name',"TIME"])