如何枢转一个数据框

什么是枢轴？
我如何枢纽？
这是一个支点吗？
长格式到宽格式？

我见过很多关于数据透视表的问题。即使他们不知道他们在问关于数据透视表，他们通常是。写一个规范的问题和答案几乎是不可能的。

…但是我要去试试看

现有的问题和答案的问题是，问题往往集中在OP难以概括的细微差别上，以便使用一些现有的好的答案。然而，没有一个答案试图给出一个全面的解释（因为这是一项艰巨的任务）

看看我的谷歌search几个例子

如何在Pandas中枢转数据框？
- 好的问题和答案。但答案只是回答具体的问题，没有多less解释。
大pandas将数据透视表数据框
- 在这个问题中，OP关注的是枢轴的输出。即列的外观。 OP想让它看起来像R.这对pandas用户不是很有帮助。
枢轴转动dataframe的大pandas，重复的行
- 另一个体面的问题，但答案集中在一个方法，即pd.DataFrame.pivot

所以每当有人search关键点，他们会得到零星的结果，可能不会回答他们的具体问题。

build立

您可能会注意到，我明显地命名了我的列和相关的列值，以符合我将如何在下面的答案中进行转换。请注意，以便熟悉哪些列名从哪里获得您要查找的结果。

 import numpy as np import pandas as pd from numpy.core.defchararray import add np.random.seed([3,1415]) n = 20 cols = np.array(['key', 'row', 'item', 'col']) arr1 = (np.random.randint(5, size=(n, 4)) // [2, 1, 2, 1]).astype(str) df = pd.DataFrame( add(cols, arr1), columns=cols ).join( pd.DataFrame(np.random.rand(n, 2).round(2)).add_prefix('val') ) print(df) key row item col val0 val1 0 key0 row3 item1 col3 0.81 0.04 1 key1 row2 item1 col2 0.44 0.07 2 key1 row0 item1 col0 0.77 0.01 3 key0 row4 item0 col2 0.15 0.59 4 key1 row0 item2 col1 0.81 0.64 5 key1 row2 item2 col4 0.13 0.88 6 key2 row4 item1 col3 0.88 0.39 7 key1 row4 item1 col1 0.10 0.07 8 key1 row0 item2 col4 0.65 0.02 9 key1 row2 item0 col2 0.35 0.61 10 key2 row0 item2 col1 0.40 0.85 11 key2 row4 item1 col2 0.64 0.25 12 key0 row2 item2 col3 0.50 0.44 13 key0 row4 item1 col4 0.24 0.46 14 key1 row3 item2 col3 0.28 0.11 15 key0 row3 item1 col1 0.31 0.23 16 key0 row0 item2 col3 0.86 0.01 17 key0 row4 item0 col3 0.64 0.21 18 key2 row2 item2 col0 0.13 0.45 19 key0 row2 item0 col4 0.37 0.70

问题（S）

为什么我得到ValueError: Index contains duplicate entries, cannot reshape

我如何枢轴val0 ， val0值是列， row值是索引， val0意思是值？

 col col0 col1 col2 col3 col4 row row0 0.77 0.605 NaN 0.860 0.65 row2 0.13 NaN 0.395 0.500 0.25 row3 NaN 0.310 NaN 0.545 NaN row4 NaN 0.100 0.395 0.760 0.24

如何透视df ， col值是列， row值是索引， val0平均值是值，缺失值是0 ？

 col col0 col1 col2 col3 col4 row row0 0.77 0.605 0.000 0.860 0.65 row2 0.13 0.000 0.395 0.500 0.25 row3 0.00 0.310 0.000 0.545 0.00 row4 0.00 0.100 0.395 0.760 0.24

我可以得到比mean东西吗？

 col col0 col1 col2 col3 col4 row row0 0.77 1.21 0.00 0.86 0.65 row2 0.13 0.00 0.79 0.50 0.50 row3 0.00 0.31 0.00 1.09 0.00 row4 0.00 0.10 0.79 1.52 0.24

我能一次做更多的聚合吗？

  sum mean col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4 row row0 0.77 1.21 0.00 0.86 0.65 0.77 0.605 0.000 0.860 0.65 row2 0.13 0.00 0.79 0.50 0.50 0.13 0.000 0.395 0.500 0.25 row3 0.00 0.31 0.00 1.09 0.00 0.00 0.310 0.000 0.545 0.00 row4 0.00 0.10 0.79 1.52 0.24 0.00 0.100 0.395 0.760 0.24

我可以汇总多个值列吗？

  val0 val1 col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4 row row0 0.77 0.605 0.000 0.860 0.65 0.01 0.745 0.00 0.010 0.02 row2 0.13 0.000 0.395 0.500 0.25 0.45 0.000 0.34 0.440 0.79 row3 0.00 0.310 0.000 0.545 0.00 0.00 0.230 0.00 0.075 0.00 row4 0.00 0.100 0.395 0.760 0.24 0.00 0.070 0.42 0.300 0.46

可以通过多列进行细分？

 item item0 item1 item2 col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4 row row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.605 0.86 0.65 row2 0.35 0.00 0.37 0.00 0.00 0.44 0.00 0.00 0.13 0.000 0.50 0.13 row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.000 0.28 0.00 row4 0.15 0.64 0.00 0.00 0.10 0.64 0.88 0.24 0.00 0.000 0.00 0.00

要么

 item item0 item1 item2 col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4 key row key0 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.86 0.00 row2 0.00 0.00 0.37 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.50 0.00 row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.00 0.00 0.00 row4 0.15 0.64 0.00 0.00 0.00 0.00 0.00 0.24 0.00 0.00 0.00 0.00 key1 row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.81 0.00 0.65 row2 0.35 0.00 0.00 0.00 0.00 0.44 0.00 0.00 0.00 0.00 0.00 0.13 row3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.28 0.00 row4 0.00 0.00 0.00 0.00 0.10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 key2 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.40 0.00 0.00 row2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13 0.00 0.00 0.00 row4 0.00 0.00 0.00 0.00 0.00 0.64 0.88 0.00 0.00 0.00 0.00 0.00

我可以合并列和行一起出现的频率，即“交叉表”吗？

 col col0 col1 col2 col3 col4 row row0 1 2 0 1 1 row2 1 0 2 1 2 row3 0 1 0 2 0 row4 0 1 2 2 1

我们首先回答第一个问题：

问题1

为什么我得到ValueError: Index contains duplicate entries, cannot reshape

发生这种情况是因为pandas正试图重新索引具有重复条目的columns或index对象。有不同的方法可以使用，可以执行一个枢纽。其中一些不太适合于当它们被要求在其上枢转的键的重复时。例如。考虑pd.DataFrame.pivot 。我知道有重复的条目共享row和col值：

 df.duplicated(['row', 'col']).any() True

所以当我pivot使用

 df.pivot(index='row', columns='col', values='val0')

我收到上面提到的错误。事实上，当我尝试执行相同的任务时遇到同样的错误：

 df.set_index(['row', 'col'])['val0'].unstack()

这里是我们可以用来转动的成语列表

pd.DataFrame.groupby + pd.DataFrame.unstack
- 很好的一般方法来做任何types的枢纽
- 您可以指定将构成一个组中的透视行级别和列级别的所有列。您可以通过select要合计的剩余列以及要执行聚合的function来实现。最后，您将取消想要在列索引中的级别。
pd.DataFrame.pivot_table
- 带有更直观API的groupby版本。对于很多人来说，这是首选的方法。这是开发人员的预期方法。
- 指定行级别，列级别，要汇总的值以及执行汇总的function。
pd.DataFrame.set_index + pd.DataFrame.unstack
- 一些（包括我自己）方便和直观。无法处理重复的分组键。
- 与groupby范式类似，我们指定最终将成为行或列级别的所有列，并将其设置为索引。然后我们在列中unstack想要的级别。如果剩余的索引级别或列级别不唯一，则此方法将失败。
pd.DataFrame.pivot
- 非常类似于set_index ，因为它共享重复的密钥限制。 API也非常有限。它只需要index ， columns ， values标values 。
- 类似于pivot_table方法，我们select要在其上进行透视的行，列和值。但是，我们不能聚合，如果行或列不唯一，这种方法将失败。
pd.crosstab
- 这是一个专门的pivot_table版本，并且是最纯粹的forms，是执行多个任务的最直观的方法。
pd.factorize + np.bincount
- 这是一个非常先进的技术，是非常模糊，但速度非常快。它不能在任何情况下使用，但是当它可以被使用，并且您可以舒适地使用它，您将获得性能奖励。
pd.get_dummies + pd.DataFrame.dot
- 我用这个巧妙地执行交叉表。

例子

我将要做的每个后续的答案和问题是使用pd.DataFrame.pivot_table来回答。然后，我会提供替代scheme来执行相同的任务。

问题3

如何透视df ， col值是列， row值是索引， val0平均值是值，缺失值是0 ？

pd.DataFrame.pivot_table
- fill_value默认没有设置。我倾向于适当地设置它。在这种情况下，我把它设置为0 。注意我跳过问题2，因为它与没有fill_value答案相同
- aggfunc='mean'是默认的，我没有设置它。我把它包括在内。
```
 df.pivot_table( values='val0', index='row', columns='col', fill_value=0, aggfunc='mean') col col0 col1 col2 col3 col4 row row0 0.77 0.605 0.000 0.860 0.65 row2 0.13 0.000 0.395 0.500 0.25 row3 0.00 0.310 0.000 0.545 0.00 row4 0.00 0.100 0.395 0.760 0.24 
```

pd.DataFrame.groupby

 df.groupby(['row', 'col'])['val0'].mean().unstack(fill_value=0)

pd.crosstab

 pd.crosstab( index=df['row'], columns=df['col'], values=df['val0'], aggfunc='mean').fillna(0)

问题4

我可以得到比mean东西吗？

pd.DataFrame.pivot_table

 df.pivot_table( values='val0', index='row', columns='col', fill_value=0, aggfunc='sum') col col0 col1 col2 col3 col4 row row0 0.77 1.21 0.00 0.86 0.65 row2 0.13 0.00 0.79 0.50 0.50 row3 0.00 0.31 0.00 1.09 0.00 row4 0.00 0.10 0.79 1.52 0.24

pd.DataFrame.groupby

 df.groupby(['row', 'col'])['val0'].sum().unstack(fill_value=0)

pd.crosstab

 pd.crosstab( index=df['row'], columns=df['col'], values=df['val0'], aggfunc='sum').fillna(0)

问题5

我能一次做更多的聚合吗？

请注意，对于pivot_table和cross_tab我需要传递可调用列表。另一方面， groupby.agg能够为有限数量的特殊functiongroupby.aggstring。 groupby.agg也会使用我们传递给其他人的相同的可调用groupby.agg ，但是通过使用string函数名称可以获得更高的效率，通常效率更高。

pd.DataFrame.pivot_table

 df.pivot_table( values='val0', index='row', columns='col', fill_value=0, aggfunc=[np.size, np.mean]) size mean col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4 row row0 1 2 0 1 1 0.77 0.605 0.000 0.860 0.65 row2 1 0 2 1 2 0.13 0.000 0.395 0.500 0.25 row3 0 1 0 2 0 0.00 0.310 0.000 0.545 0.00 row4 0 1 2 2 1 0.00 0.100 0.395 0.760 0.24

pd.DataFrame.groupby

 df.groupby(['row', 'col'])['val0'].agg(['size', 'mean']).unstack(fill_value=0)

pd.crosstab

 pd.crosstab( index=df['row'], columns=df['col'], values=df['val0'], aggfunc=[np.size, np.mean]).fillna(0, downcast='infer')

问题6

我可以汇总多个值列吗？

pd.DataFrame.pivot_table我们传递values=['val0', 'val1']但是我们可以把它完全values=['val0', 'val1']

 df.pivot_table( values=['val0', 'val1'], index='row', columns='col', fill_value=0, aggfunc='mean') val0 val1 col col0 col1 col2 col3 col4 col0 col1 col2 col3 col4 row row0 0.77 0.605 0.000 0.860 0.65 0.01 0.745 0.00 0.010 0.02 row2 0.13 0.000 0.395 0.500 0.25 0.45 0.000 0.34 0.440 0.79 row3 0.00 0.310 0.000 0.545 0.00 0.00 0.230 0.00 0.075 0.00 row4 0.00 0.100 0.395 0.760 0.24 0.00 0.070 0.42 0.300 0.46

pd.DataFrame.groupby

 df.groupby(['row', 'col'])['val0', 'val1'].mean().unstack(fill_value=0)

问题7

可以通过多列进行细分？

pd.DataFrame.pivot_table

 df.pivot_table( values='val0', index='row', columns=['item', 'col'], fill_value=0, aggfunc='mean') item item0 item1 item2 col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4 row row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.605 0.86 0.65 row2 0.35 0.00 0.37 0.00 0.00 0.44 0.00 0.00 0.13 0.000 0.50 0.13 row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.000 0.28 0.00 row4 0.15 0.64 0.00 0.00 0.10 0.64 0.88 0.24 0.00 0.000 0.00 0.00

pd.DataFrame.groupby

 df.groupby( ['row', 'item', 'col'] )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)

问题8

可以通过多列进行细分？

pd.DataFrame.pivot_table

 df.pivot_table( values='val0', index=['key', 'row'], columns=['item', 'col'], fill_value=0, aggfunc='mean') item item0 item1 item2 col col2 col3 col4 col0 col1 col2 col3 col4 col0 col1 col3 col4 key row key0 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.86 0.00 row2 0.00 0.00 0.37 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.50 0.00 row3 0.00 0.00 0.00 0.00 0.31 0.00 0.81 0.00 0.00 0.00 0.00 0.00 row4 0.15 0.64 0.00 0.00 0.00 0.00 0.00 0.24 0.00 0.00 0.00 0.00 key1 row0 0.00 0.00 0.00 0.77 0.00 0.00 0.00 0.00 0.00 0.81 0.00 0.65 row2 0.35 0.00 0.00 0.00 0.00 0.44 0.00 0.00 0.00 0.00 0.00 0.13 row3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.28 0.00 row4 0.00 0.00 0.00 0.00 0.10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 key2 row0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.40 0.00 0.00 row2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13 0.00 0.00 0.00 row4 0.00 0.00 0.00 0.00 0.00 0.64 0.88 0.00 0.00 0.00 0.00 0.00

pd.DataFrame.groupby

 df.groupby( ['key', 'row', 'item', 'col'] )['val0'].mean().unstack(['item', 'col']).fillna(0).sort_index(1)

pd.DataFrame.set_index因为这组键对于行和列都是唯一的

 df.set_index( ['key', 'row', 'item', 'col'] )['val0'].unstack(['item', 'col']).fillna(0).sort_index(1)

问题9

我可以合并列和行一起出现的频率，即“交叉表”吗？

pd.DataFrame.pivot_table

 df.pivot_table(index='row', columns='col', fill_value=0, aggfunc='size') col col0 col1 col2 col3 col4 row row0 1 2 0 1 1 row2 1 0 2 1 2 row3 0 1 0 2 0 row4 0 1 2 2 1

pd.DataFrame.groupby

 df.groupby(['row', 'col'])['val0'].size().unstack(fill_value=0)

pd.cross_tab
```
 pd.crosstab(df['row'], df['col']) 
```

pd.factorize + np.bincount

 # get integer factorization `i` and unique values `r` # for column `'row'` i, r = pd.factorize(df['row'].values) # get integer factorization `j` and unique values `c` # for column `'col'` j, c = pd.factorize(df['col'].values) # `n` will be the number of rows # `m` will be the number of columns n, m = r.size, c.size # `i * m + j` is a clever way of counting the # factorization bins assuming a flat array of length # `n * m`. Which is why we subsequently reshape as `(n, m)` b = np.bincount(i * m + j, minlength=n * m).reshape(n, m) # BTW, whenever I read this, I think 'Bean, Rice, and Cheese' pd.DataFrame(b, r, c) col3 col2 col0 col1 col4 row3 2 0 0 1 0 row2 1 2 1 0 2 row0 1 0 1 2 1 row4 2 2 0 1 1

pd.get_dummies

 pd.get_dummies(df['row']).T.dot(pd.get_dummies(df['col'])) col0 col1 col2 col3 col4 row0 1 2 0 1 1 row2 1 0 2 1 2 row3 0 1 0 2 0 row4 0 1 2 2 1

如何枢转一个数据框

build立

问题（S）

问题1

例子

问题3

问题4

问题5

问题6

问题7

问题8

问题9

python pandas：将一个带有参数的函数应用于一系列

HDF5 – 并发性，压缩和I / O性能

pandas：没有。最大行数

将pandas多指标转入栏目

如何用pandas创build一个数据框的testing和训练样本？

将DataFrame列types从string转换为datetime

Python pandas dataframe：检索列数

pandas：find其名称包含特定string的列

子集Python数据框

Matplotlib /pandas错误使用直方图

如何枢转一个数据框

build立

问题（S）

问题1

例子

问题3

问题4

问题5

问题6

问题7

问题8

问题9

python pandas：将一个带有参数的函数应用于一系列

HDF5 – 并发性，压缩和I / O性能

pandas：没有。 最大行数

将pandas多指标转入栏目

如何用pandas创build一个数据框的testing和训练样本？

将DataFrame列types从string转换为datetime

Python pandas dataframe：检索列数

pandas：find其名称包含特定string的列

子集Python数据框

Matplotlib /pandas错误使用直方图

pandas：没有。最大行数