在Python中计算numpy ndarraymatrix中的非NaN元素的数量

我需要计算numpy ndarraymatrix中的非NaN元素的数量。 如何有效地在Python中做到这一点？ 这是我实现这个简单的代码：

import numpy as np def numberOfNonNans(data): count = 0 for i in data: if not np.isnan(i): count += 1 return count 

在numpy中是否有内置函数？ 效率很重要，因为我在做大数据分析。

thnx任何帮助！

Answer 1

 np.count_nonzero(~np.isnan(data)) 

~反转从np.isnan返回的布尔matrix。

np.count_nonzero计算非0的值。 .sum应该给出相同的结果。 但也许更清楚地使用count_nonzero

testing速度：

 In [23]: data = np.random.random((10000,10000)) In [24]: data[[np.random.random_integers(0,10000, 100)],:][:, [np.random.random_integers(0,99, 100)]] = np.nan In [25]: %timeit data.size - np.count_nonzero(np.isnan(data)) 1 loops, best of 3: 309 ms per loop In [26]: %timeit np.count_nonzero(~np.isnan(data)) 1 loops, best of 3: 345 ms per loop In [27]: %timeit data.size - np.isnan(data).sum() 1 loops, best of 3: 339 ms per loop 

data.size - np.count_nonzero(np.isnan(data))在这里似乎几乎是最快的。 其他数据可能给出不同的相对速度结果。

Answer 2

另一种方法，但是稍微慢一点的方法就是在索引上做。

 np.isnan(data)[np.isnan(data) == False].size In [30]: %timeit np.isnan(data)[np.isnan(data) == False].size 1 loops, best of 3: 498 ms per loop 

np.isnan(data)和==运算符的双重使用可能有点矫枉过正，所以我仅仅为了完整而发布了答案。

Answer 3

快速写入修改

即使不是最快的select，如果性能不是问题，您可以使用：

sum(~np.isnan(data)) 。

性能：

 In [7]: %timeit data.size - np.count_nonzero(np.isnan(data)) 10 loops, best of 3: 67.5 ms per loop In [8]: %timeit sum(~np.isnan(data)) 10 loops, best of 3: 154 ms per loop In [9]: %timeit np.sum(~np.isnan(data)) 10 loops, best of 3: 140 ms per loop