Python pandas：检查DataFrame中的值是否为NaN
在pythonpandas中，检查DataFrame是否有一个（或多个）NaN值的最好方法是什么？
我知道函数pd.isnan ，但是这返回每个元素的布尔值的DataFrame。 这篇文章在这里并不完全回答我的问题。
jwilner的回应是现货。 我正在探索是否有一个更快的select，因为根据我的经验，总结平面arrays（奇怪）比计数快。 这个代码似乎更快：
df.isnull().values.any()
例如：
In [2]: df = pd.DataFrame(np.random.randn(1000,1000)) In [3]: df[df > 0.9] = pd.np.nan In [4]: %timeit df.isnull().any().any() 100 loops, best of 3: 14.7 ms per loop In [5]: %timeit df.isnull().values.sum() 100 loops, best of 3: 2.15 ms per loop In [6]: %timeit df.isnull().sum().sum() 100 loops, best of 3: 18 ms per loop In [7]: %timeit df.isnull().values.any() 1000 loops, best of 3: 948 µs per loop
df.isnull().sum().sum()有点慢，但是当然有附加信息df.isnull().sum().sum()的数量。
你有几个选项。
import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(10,6)) # Make a few areas have NaN values df.iloc[1:3,1] = np.nan df.iloc[5,3] = np.nan df.iloc[7:9,5] = np.nan
现在数据框看起来像这样：
0 1 2 3 4 5 0 0.520113 0.884000 1.260966 -0.236597 0.312972 -0.196281 1 -0.837552 NaN 0.143017 0.862355 0.346550 0.842952 2 -0.452595 NaN -0.420790 0.456215 1.203459 0.527425 3 0.317503 -0.917042 1.780938 -1.584102 0.432745 0.389797 4 -0.722852 1.704820 -0.113821 -1.466458 0.083002 0.011722 5 -0.622851 -0.251935 -1.498837 NaN 1.098323 0.273814 6 0.329585 0.075312 -0.690209 -3.807924 0.489317 -0.841368 7 -1.123433 -1.187496 1.868894 -2.046456 -0.949718 NaN 8 1.133880 -0.110447 0.050385 -1.158387 0.188222 NaN 9 -0.513741 1.196259 0.704537 0.982395 -0.585040 -1.693810
- 选项1 ：
df.isnull().any().any()– 这将返回一个布尔值
你知道isnull()将会返回一个dataframe，如下所示：
0 1 2 3 4 5 0 False False False False False False 1 False True False False False False 2 False True False False False False 3 False False False False False False 4 False False False False False False 5 False False False True False False 6 False False False False False False 7 False False False False False True 8 False False False False False True 9 False False False False False False
如果你使df.isnull().any() ，你可以find只有具有NaN值的列：
0 False 1 True 2 False 3 True 4 False 5 True dtype: bool
多一个.any()会告诉你，如果上述任何一个是True
> df.isnull().any().any() True
- 选项2 ：
df.isnull().sum().sum()– 返回NaN值总数的整数：
这与.any().any()操作方式相同，首先给出一列中NaN值的总和，然后总结这些值：
df.isnull().sum() 0 0 1 2 2 0 3 1 4 0 5 2 dtype: int64
然后得到总数：
df.isnull().sum().sum() 5
如果您需要知道有多less“1个或更多”行有NaN：
df.isnull().T.any().T.sum()
或者，如果您需要拉出这些行并检查它们：
nan_rows = df[df.isnull().T.any().T]
df.isnull().any().any()应该这样做。
由于没有提到，只有另一个variables叫做hasnans 。
如果pandas系列中的一个或多个值为NaN，则df[i].hasnans将输出为True否则为False 。 请注意，它不是一个function。
pandas版本“0.19.2”和“0.20.2”
由于pandas必须为DataFrame.dropna()find它，我看了看它们是如何实现的，并发现它们使用了DataFrame.count() ，它计算DataFrame.count()所有非空值。 参看 pandas源代码 。 我没有把这个技术作为基准，但是我认为图书馆的作者很可能已经为如何做到这一点做出了明智的select。
加上Hobs的杰出的答案，我对Python和pandas很新，所以请指出是否我错了。
要找出哪些行有NaN：
nan_rows = df[df.isnull().any(1)]
将通过将any（）的轴指定为1来执行相同的操作而不需要移位，以检查行中是否存在“真”。
根据您处理的数据types，您也可以通过将dropna设置为False来执行EDA时获取每列的值。
for col in df: print df[col].value_counts(dropna=False)
适用于分类variables，而不是那么多，当你有许多独特的价值。
只要使用math.isnan（x） ，如果x是NaN（不是数字），则返回True，否则返回False。
