在python中用scipy / numpy合并数据

有没有一种更有效的方法来在预先指定的箱子中取一个数组的平均值？ 例如，我有一个数组数组和数组，对应于该数组中的开始和结束位置，我想只是在这些箱中的意思？ 我有下面的代码，但我想知道如何可以减less和改善。 谢谢。

from scipy import * from numpy import * def get_bin_mean(a, b_start, b_end): ind_upper = nonzero(a >= b_start)[0] a_upper = a[ind_upper] a_range = a_upper[nonzero(a_upper < b_end)[0]] mean_val = mean(a_range) return mean_val data = rand(100) bins = linspace(0, 1, 10) binned_data = [] n = 0 for n in range(0, len(bins)-1): b_start = bins[n] b_end = bins[n+1] binned_data.append(get_bin_mean(data, b_start, b_end)) print binned_data 

Answer 1

这可能更快，更容易使用numpy.digitize() ：

 import numpy data = numpy.random.random(100) bins = numpy.linspace(0, 1, 10) digitized = numpy.digitize(data, bins) bin_means = [data[digitized == i].mean() for i in range(1, len(bins))] 

另一种方法是使用numpy.histogram() ：

 bin_means = (numpy.histogram(data, bins, weights=data)[0] / numpy.histogram(data, bins)[0]) 

试试自己哪个更快… 🙂

Answer 2

Scipy（> = 0.11）函数scipy.stats.binned_statistic专门解决上述问题。

对于在以前的答案相同的例子，Scipy的解决scheme将是

 import numpy as np from scipy.stats import binned_statistic data = np.random.rand(100) bin_means = binned_statistic(data, data, bins=10, range=(0, 1))[0] 

Answer 3

不知道为什么这个线程坏了; 但这是一个2014年批准的答案，应该快得多：

 import numpy as np data = np.random.rand(100) bins = 10 slices = np.linspace(0, 100, bins+1, True).astype(np.int) counts = np.diff(slices) mean = np.add.reduceat(data, slices[:-1]) / counts print mean 

Answer 4

numpy_indexed包（免责声明：我是它的作者）包含有效地执行这种types的操作的function：

 import numpy_indexed as npi print(npi.group_by(np.digitize(data, bins)).mean(data)) 

这与我之前发布的解决scheme基本相同。 但现在包裹在一个不错的界面，testing和所有:)

Answer 5

我会添加，也回答使用histogram2d pythonfind平均bin值的问题，即scipy也有一个专门devise来计算一个或多个数据集的二维分箱统计量的函数

 import numpy as np from scipy.stats import binned_statistic_2d x = np.random.rand(100) y = np.random.rand(100) values = np.random.rand(100) bin_means = binned_statistic_2d(x, y, values, bins=10).statistic 

函数scipy.stats.binned_statistic_dd是更高维数据集的这个函数的泛化