R用data.table总结多个列
我正在尝试使用data.table来加速处理由几个较小的合并数据框架组成的大数据框(300k x 60)。 我是data.table的新手。 目前的代码如下
library(data.table) a = data.table(index=1:5,a=rnorm(5,10),b=rnorm(5,10),z=rnorm(5,10)) b = data.table(index=6:10,a=rnorm(5,10),b=rnorm(5,10),c=rnorm(5,10),d=rnorm(5,10)) dt = merge(a,b,by=intersect(names(a),names(b)),all=T) dt$category = sample(letters[1:3],10,replace=T)
我想知道是否有比以下更有效的方式来总结数据。
summ = dt[i=T,j=list(a=sum(a,na.rm=T),b=sum(b,na.rm=T),c=sum(c,na.rm=T), d=sum(d,na.rm=T),z=sum(z,na.rm=T)),by=category]
我真的不想用手input所有的50列计算,而eval(paste(...))
似乎笨重。
我看了下面的例子,但是对于我的需求来说似乎有些复杂。 谢谢
如何总结一个data.table跨多个列
您可以使用简单的lapply
语句与.SD
dt[, lapply(.SD, sum, na.rm=TRUE), by=category ] category index abzcd 1: c 19 51.13289 48.49994 42.50884 9.535588 11.53253 2: b 9 17.34860 20.35022 10.32514 11.764105 10.53127 3: a 27 25.91616 31.12624 0.00000 29.197343 31.71285
如果您只想汇总某些列,则可以添加.SDcols
参数
# note that .SDcols also allows reordering of the columns dt[, lapply(.SD, sum, na.rm=TRUE), by=category, .SDcols=c("a", "c", "z") ] category acz 1: c 51.13289 9.535588 42.50884 2: b 17.34860 11.764105 10.32514 3: a 25.91616 29.197343 0.00000
这当然不限于sum
,你可以使用包括匿名函数在内的任何函数。 (即,这是一个常规的lapply
声明)。
最后,没有必要使用i=T
和j= <..>
。 就我个人而言,我认为这使得代码更不可读,但它只是一种风格偏好。
编辑:文档
你会发现.SD
文件和其他几个特殊的variables下
帮助部分?"[.data.table"
(在参数部分,查看信息的by
)。
也看看data.table常见问题2.1