如何将数据分成3组（火车，validation和testing）？
我有一个pandas数据框，我希望把它分成3个独立的集合。 我知道使用sklearn.cross_validation中的sklearn.cross_validation ，可以将数据分成两组（train和test）。 不过，我找不到将数据分成三组的解决scheme。 最好是我想要有原始数据的索引。
我知道一个解决方法是使用train_test_split两次，并以某种方式调整索引。 但有没有更多的标准/内置的方式将数据分成3组而不是2？
Numpy解决scheme。 我们将把数据集分成以下几部分：
- 60％ – 火车集，
- 20％ – validation集，
- 20％ – testing集
In [305]: train, validate, test = np.split(df.sample(frac=1), [int(.6*len(df)), int(.8*len(df))]) In [306]: train Out[306]: ABCDE 0 0.046919 0.792216 0.206294 0.440346 0.038960 2 0.301010 0.625697 0.604724 0.936968 0.870064 1 0.642237 0.690403 0.813658 0.525379 0.396053 9 0.488484 0.389640 0.599637 0.122919 0.106505 8 0.842717 0.793315 0.554084 0.100361 0.367465 7 0.185214 0.603661 0.217677 0.281780 0.938540 In [307]: validate Out[307]: ABCDE 5 0.806176 0.008896 0.362878 0.058903 0.026328 6 0.145777 0.485765 0.589272 0.806329 0.703479 In [308]: test Out[308]: ABCDE 4 0.521640 0.332210 0.370177 0.859169 0.401087 3 0.333348 0.964011 0.083498 0.670386 0.169619
[int(.6*len(df)), int(.8*len(df))] – 是numpy.split（）的一个indices_or_sections数组。
下面是np.split()用法的一个小np.split() – 让我们将20个元素的数组分成以下几部分：90％，10％，10％：
In [45]: a = np.arange(1, 21) In [46]: a Out[46]: array([ 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20]) In [47]: np.split(a, [int(.8 * len(a)), int(.9 * len(a))]) Out[47]: [array([ 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]), array([17, 18]), array([19, 20])]
注意：
编写函数来处理随机集创build的播种。 你不应该依赖不会随机化集合的集合分割。
import numpy as np import pandas as pd def train_validate_test_split(df, train_percent=.6, validate_percent=.2, seed=None): np.random.seed(seed) perm = np.random.permutation(df.index) m = len(df) train_end = int(train_percent * m) validate_end = int(validate_percent * m) + train_end train = df.ix[perm[:train_end]] validate = df.ix[perm[train_end:validate_end]] test = df.ix[perm[validate_end:]] return train, validate, test
示范
np.random.seed([3,1415]) df = pd.DataFrame(np.random.rand(10, 5), columns=list('ABCDE')) df
train, validate, test = train_validate_test_split(df) train
validate
test
然而，将数据集划分为train ， test ， cv （ train_test_split一种方法是使用train_test_split方法两次。
x, x_test, y, y_test = train_test_split(xtrain,labels,test_size=0.2,train_size=0.8) x_train, x_cv, y_train, y_cv = train_test_split(x,y,test_size = 0.25,train_size =0.75)
