如何统计pandas数据框中的列值
我有数据，其中我想查找NaN的数量，所以如果它小于某个阈值，我会放弃这个列。 我看了，但没有find任何function。 有count_values（），但对我来说会很慢，因为大多数值是不同的，我只需要计算NaN。
您可以使用isnull()方法，然后求和来计算nan值。 对于一列：
In [1]: s = pd.Series([1,2,3, np.nan, np.nan]) In [4]: s.isnull().sum() Out[4]: 2
对于几列，它也起作用：
In [5]: df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]}) In [6]: df.isnull().sum() Out[6]: a 1 b 2 dtype: int64
你可以从非nan值的总数中减去总长度：
count_nan = len(df) - df.count()
你应该在你的数据上计时。 与isnull解决scheme相比，小型系列的速度提高了3倍。
由于pandas0.14.1我的build议在这里有一个关键字参数在value_counts方法已经实现：
import pandas as pd df = pd.DataFrame({'a':[1,2,np.nan], 'b':[np.nan,1,np.nan]}) for col in df: print df[col].value_counts(dropna=False) 2 1 1 1 NaN 1 dtype: int64 NaN 2 1 1 dtype: int64
如果你正在使用Jupyter Notebook，那么……
%%timeit df.isnull().any().any()
要么
%timeit df.isnull().values.sum()
或者，数据中是否有NaN，如果有，在哪里？
df.isnull().any()
基于第二个也是最受投票的答案，我们可以很容易地定义一个函数，它给了我们一个数据框来预览缺失值和每列中缺失值的百分比：
def missing_values_table(df): mis_val = df.isnull().sum() mis_val_percent = 100 * df.isnull().sum()/len(df) mis_val_table = pd.concat([mis_val, mis_val_percent], axis=1) mis_val_table_ren_columns = mis_val_table.rename( columns = {0 : 'Missing Values', 1 : '% of Total Values'}) return mis_val_table_ren_columns
如果它只是在一个pandas列这个数值是一个快速的方法
import pandas as pd ## df1 as an example data frame ## col1 name of column for which you want to calculate the nan values sum(pd.isnull(df1['col1']))
您可以使用value_counts方法并打印np.nan的值
s.value_counts(dropna = False)[np.nan]
在我的代码中使用了@sushmit提出的解决scheme。 colNullCnt = [] for z in range(len(df1.cols)): colNullCnt.append([df1.cols[z], sum(pd.isnull(trainPd[df1.cols[z]]))])也可以是 – colNullCnt = [] for z in range(len(df1.cols)): colNullCnt.append([df1.cols[z], sum(pd.isnull(trainPd[df1.cols[z]]))])这个优点是它返回df中每个列的结果。
基于给出的答案和一些改进，这是我的方法
def PercentageMissin(Dataset): """this function will return the percentage of missing values in a dataset """ if isinstance(Dataset,pd.DataFrame): adict={} #a dictionary conatin keys columns names and values percentage of missin value in the columns for col in Dataset.columns: adict[col]=(np.count_nonzero(Dataset[col].isnull())*100)/len(Dataset[col]) return pd.DataFrame(adict,index=['% of missing'],columns=adict.keys()) else: raise TypeError("can only be used with panda dataframe")
