大pandasDataFrame:用列的平均值replacenan值
我已经有了一个大部分都是实数的pandas数据框,但是也有一些nan
值。
我怎样才能用列的平均值replacenan
s?
这个问题与这个问题非常相似: numpy数组:将nan值replace为列的平均值,但不幸的是,给定的解决scheme对于pandas DataFrame不起作用。
你可以简单地使用DataFrame.fillna
来直接填充nan
的值:
In [27]: df Out[27]: ABC 0 -0.166919 0.979728 -0.632955 1 -0.297953 -0.912674 -1.365463 2 -0.120211 -0.540679 -0.680481 3 NaN -2.027325 1.533582 4 NaN NaN 0.461821 5 -0.788073 NaN NaN 6 -0.916080 -0.612343 NaN 7 -0.887858 1.033826 NaN 8 1.948430 1.025011 -2.982224 9 0.019698 -0.795876 -0.046431 In [28]: df.mean() Out[28]: A -0.151121 B -0.231291 C -0.530307 dtype: float64 In [29]: df.fillna(df.mean()) Out[29]: ABC 0 -0.166919 0.979728 -0.632955 1 -0.297953 -0.912674 -1.365463 2 -0.120211 -0.540679 -0.680481 3 -0.151121 -2.027325 1.533582 4 -0.151121 -0.231291 0.461821 5 -0.788073 -0.231291 -0.530307 6 -0.916080 -0.612343 -0.530307 7 -0.887858 1.033826 -0.530307 8 1.948430 1.025011 -2.982224 9 0.019698 -0.795876 -0.046431
fillna
的docstring说, value
应该是一个标量或字典,但是它似乎与一个Series
工作。 如果你想传递一个字典,你可以使用df.mean().to_dict()
。
尝试:
sub2['income'].fillna((sub2['income'].mean()), inplace=True)
In [16]: df = DataFrame(np.random.randn(10,3)) In [17]: df.iloc[3:5,0] = np.nan In [18]: df.iloc[4:6,1] = np.nan In [19]: df.iloc[5:8,2] = np.nan In [20]: df Out[20]: 0 1 2 0 1.148272 0.227366 -2.368136 1 -0.820823 1.071471 -0.784713 2 0.157913 0.602857 0.665034 3 NaN -0.985188 -0.324136 4 NaN NaN 0.238512 5 0.769657 NaN NaN 6 0.141951 0.326064 NaN 7 -1.694475 -0.523440 NaN 8 0.352556 -0.551487 -1.639298 9 -2.067324 -0.492617 -1.675794 In [22]: df.mean() Out[22]: 0 -0.251534 1 -0.040622 2 -0.841219 dtype: float64
每列应用该列的平均值并填充
In [23]: df.apply(lambda x: x.fillna(x.mean()),axis=0) Out[23]: 0 1 2 0 1.148272 0.227366 -2.368136 1 -0.820823 1.071471 -0.784713 2 0.157913 0.602857 0.665034 3 -0.251534 -0.985188 -0.324136 4 -0.251534 -0.040622 0.238512 5 0.769657 -0.040622 -0.841219 6 0.141951 0.326064 -0.841219 7 -1.694475 -0.523440 -0.841219 8 0.352556 -0.551487 -1.639298 9 -2.067324 -0.492617 -1.675794
除上述之外的另一个选项是:
df = df.groupby(df.columns, axis = 1).transform(lambda x: x.fillna(x.mean()))
它不像以前的平均响应那么优雅,但是如果您希望用其他列函数replace空值,它可能会更短。
如果你想用均值来推算缺失的值,并且你想要逐列地去,那么这只会与该列的均值相关。 这可能会更可读一点。
sub2['income'] = sub2['income'].fillna((sub2['income'].mean()))
//从csv文件读取数据Dataset = pd.read_csv('Data.csv')
//将input分为X轴和Y轴
X= Dataset.iloc[:, :-1].values Y=Dataset.iloc[:, 3].values
//计算平均使用imputer类
from sklearn.preprocessing import Imputer imputer=Imputer(missing_values='NaN', strategy='mean', axis=0) imputer = imputer.fit(X[:, 1:3]) X[:, 1:3]=imputer.transform(X[:, 1:3])