大pandasDataFrame:用列的平均值replacenan值

我已经有了一个大部分都是实数的pandas数据框,但是也有一些nan值。

我怎样才能用列的平均值replacenan s?

这个问题与这个问题非常相似: numpy数组:将nan值replace为列的平均值,但不幸的是,给定的解决scheme对于pandas DataFrame不起作用。

你可以简单地使用DataFrame.fillna来直接填充nan的值:

 In [27]: df Out[27]: ABC 0 -0.166919 0.979728 -0.632955 1 -0.297953 -0.912674 -1.365463 2 -0.120211 -0.540679 -0.680481 3 NaN -2.027325 1.533582 4 NaN NaN 0.461821 5 -0.788073 NaN NaN 6 -0.916080 -0.612343 NaN 7 -0.887858 1.033826 NaN 8 1.948430 1.025011 -2.982224 9 0.019698 -0.795876 -0.046431 In [28]: df.mean() Out[28]: A -0.151121 B -0.231291 C -0.530307 dtype: float64 In [29]: df.fillna(df.mean()) Out[29]: ABC 0 -0.166919 0.979728 -0.632955 1 -0.297953 -0.912674 -1.365463 2 -0.120211 -0.540679 -0.680481 3 -0.151121 -2.027325 1.533582 4 -0.151121 -0.231291 0.461821 5 -0.788073 -0.231291 -0.530307 6 -0.916080 -0.612343 -0.530307 7 -0.887858 1.033826 -0.530307 8 1.948430 1.025011 -2.982224 9 0.019698 -0.795876 -0.046431 

fillna的docstring说, value应该是一个标量或字典,但是它似乎与一个Series工作。 如果你想传递一个字典,你可以使用df.mean().to_dict()

尝试:

 sub2['income'].fillna((sub2['income'].mean()), inplace=True) 
 In [16]: df = DataFrame(np.random.randn(10,3)) In [17]: df.iloc[3:5,0] = np.nan In [18]: df.iloc[4:6,1] = np.nan In [19]: df.iloc[5:8,2] = np.nan In [20]: df Out[20]: 0 1 2 0 1.148272 0.227366 -2.368136 1 -0.820823 1.071471 -0.784713 2 0.157913 0.602857 0.665034 3 NaN -0.985188 -0.324136 4 NaN NaN 0.238512 5 0.769657 NaN NaN 6 0.141951 0.326064 NaN 7 -1.694475 -0.523440 NaN 8 0.352556 -0.551487 -1.639298 9 -2.067324 -0.492617 -1.675794 In [22]: df.mean() Out[22]: 0 -0.251534 1 -0.040622 2 -0.841219 dtype: float64 

每列应用该列的平均值并填充

 In [23]: df.apply(lambda x: x.fillna(x.mean()),axis=0) Out[23]: 0 1 2 0 1.148272 0.227366 -2.368136 1 -0.820823 1.071471 -0.784713 2 0.157913 0.602857 0.665034 3 -0.251534 -0.985188 -0.324136 4 -0.251534 -0.040622 0.238512 5 0.769657 -0.040622 -0.841219 6 0.141951 0.326064 -0.841219 7 -1.694475 -0.523440 -0.841219 8 0.352556 -0.551487 -1.639298 9 -2.067324 -0.492617 -1.675794 

除上述之外的另一个选项是:

 df = df.groupby(df.columns, axis = 1).transform(lambda x: x.fillna(x.mean())) 

它不像以前的平均响应那么优雅,但是如果您希望用其他列函数replace空值,它可能会更短。

如果你想用均值来推算缺失的值,并且你想要逐列地去,那么这只会与该列的均值相关。 这可能会更可读一点。

sub2['income'] = sub2['income'].fillna((sub2['income'].mean()))

//从csv文件读取数据Dataset = pd.read_csv('Data.csv')

//将input分为X轴和Y轴

 X= Dataset.iloc[:, :-1].values Y=Dataset.iloc[:, 3].values 

//计算平均使用imputer类

 from sklearn.preprocessing import Imputer imputer=Imputer(missing_values='NaN', strategy='mean', axis=0) imputer = imputer.fit(X[:, 1:3]) X[:, 1:3]=imputer.transform(X[:, 1:3])