根据列中的公共值将大数据框分割成数据框列表
我有一个数据框10列，收集“用户”的行动，其中一列包含一个ID（不唯一，识别用户）（第10列）。 dataframe的长度约为750000行。 我试图提取单个dataframe（所以得到一个数据框的列表或向量）由包含“用户”标识符的列拆分，以隔离单个参与者的行为。
ID | Data1 | Data2 | ... | UserID 1 | aaa | bbb | ... | u_001 2 | aab | bb2 | ... | u_001 3 | aac | bb3 | ... | u_001 4 | aad | bb4 | ... | u_002 导致进入
list( ID | Data1 | Data2 | ... | UserID 1 | aaa | bbb | ... | u_001 2 | aab | bb2 | ... | u_001 3 | aac | bb3 | ... | u_001 , 4 | aad | bb4 | ... | u_002 ...)
下面的小样本（1000行）对我很好：
paths = by(smallsampleMat, smallsampleMat[,"userID"], function(x) x)
然后通过path访问我想要的元素[1]。
当应用在原始的大型dataframe甚至matrix表示，这扼stream器我的机器（4GB内存，MacOSX 10.6，R 2.15），并从来没有完成（我知道一个较新的R版本存在，但我相信这不是主要问题）。
看起来分裂是更高性能的，经过很长时间才完成，但是我不知道（下面的R知识）如何将得到的向量列表分解成matrix向量。
path = split(smallsampleMat, smallsampleMat[,10])
我也考虑过使用big.matrix等，但没有太多的成功，将加快这一进程。
您可以使用例如path[[1]]轻松访问列表中的每个元素。 您不能将一组matrix放入一个primefaces向量并访问每个元素。 matrix是具有维度属性的primefaces向量。 我将使用split返回的列表结构，这是它的devise目的。 每个列表元素可以保存不同types和大小的数据，因此非常灵活，您可以使用*apply函数进一步操作列表中的每个元素。 下面的例子。
# For reproducibile data set.seed(1) # Make some data userid <- rep(1:2,times=4) data1 <- replicate(8 , paste( sample(letters , 3 ) , collapse = "" ) ) data2 <- sample(10,8) df <- data.frame( userid , data1 , data2 ) # Split on userid out <- split( df , f = df$userid ) #$`1` # userid data1 data2 #1 1 gjn 3 #3 1 yqp 1 #5 1 rjs 6 #7 1 jtw 5 #$`2` # userid data1 data2 #2 2 xfv 4 #4 2 bfe 10 #6 2 mrx 2 #8 2 fqd 9
访问每个元素使用[[运营商是这样的：
out[[1]] # userid data1 data2 #1 1 gjn 3 #3 1 yqp 1 #5 1 rjs 6 #7 1 jtw 5
或者使用*apply函数对每个列表元素进行进一步的操作。 例如，要采取data2列的意思，你可以像这样使用sapply：
sapply( out , function(x) mean( x$data2 ) ) # 1 2 #3.75 6.25
偶然发现了这个答案，我实际上希望两个组（包含一个用户的数据和包含一个用户的所有数据的数据）。 这个post的具体内容不是必要的，但我想我会补充，以防有人在Google上search同样的问题。
df <- data.frame( ran_data1=rnorm(125), ran_data2=rnorm(125), g=rep(factor(LETTERS[1:5]), 25) ) test_x = split(df,df$g)[['A']] test_y = split(df,df$g!='A')[['TRUE']]
