使用Nvidia的CUDA压缩库
有没有人知道使用NVIDIA的CUDA库实现标准压缩方法（如Zip，GZip，BZip2，LZMA，…）的项目？
我想知道是否可以使用大量并行任务（如压缩）的algorithm在graphics卡上的运行速度不会比使用双核或四核CPU的运行速度快得多。
你怎么看待这种方法的利弊？
没有意识到任何人已经这样做，并公布。 只是恕我直言，这听起来不是很有希望。
正如Martinus指出的，一些压缩algorithm是高度串行的。 像LZW这样的块压缩algorithm可以通过独立编码每个块来并行化。 紫平大文件树可以在文件级别并行化。
但是，这些都不是真正的SIMD式并行（Single Instruction Multiple Data），它们并不是大规模并行的。
GPU基本上是vector处理器，可以在锁步骤中执行数百或数千条ADD指令，并执行那些数据相关分支很less的程序。
一般来说，压缩algorithm听起来更像SPMD（单一程序多数据）或MIMD（多指令多数据）编程模型，它更适合于多核CPU。
video压缩algorithm可以像CUDA那样通过GPGPU处理加速，只有在有很多像素块被余弦变换或者卷积（用于运动检测）的同时，可以表示IDCT或卷积子程序与无分支代码。
GPU也类似于具有高数值强度（math运算与存储器访问的比率）的algorithm。具有低数字强度的algorithm（例如，添加两个向量）可以是大规模并行和SIMD，但是仍然比gpu慢，因为它们重新记忆。
我们已经完成了第一阶段的研究，以提高无损数据压缩algorithm的性能。 selectBzip2作为原型，我们的团队只优化了一个操作 – Burrows-Wheeler转换，我们得到了一些结果：2x-4x加速了良好的可压缩文件。 代码在我们所有的testing中工作得更快。
我们将完成bzip2，支持deflate和LZMA，用于一些真实的生活任务，例如：HTTPstream量和备份压缩。
博客链接： http ： //www.wave-access.com/public_en/blog/2011/april/22/breakthrough-in-cuda-data-compression.aspx
通常，压缩algorithm不能使用并行任务，要使algorithm高度可并行化并不容易。 在你的例子中，TAR不是一种压缩algorithm，唯一可能高度并行化的algorithm是BZIP，因为它是块压缩algorithm。 每个块可以分别压缩，但这需要大量的内存。 当你看到7zip使用multithreading的时候，LZMA不能并行工作，这是因为7zip把数据stream分成了两个不同的stream，每个stream在一个单独的线程中用LZMA压缩，所以压缩algorithm本身不是平行的。 这种分裂只有在数据允许的情况下才有效。
encryptionalgorithm在这个领域已经相当成功，所以你可能要考虑一下。 这里是一个关于CUDA和AESencryption的文章： http : //www.manavski.com/downloads/PID505889.pdf
我们正在尝试将bzip2移植到CUDA。 :)到目前为止（只做了粗略的testing），我们的Burrows-Wheeler变换比串行algorithm快30％。 http://bzip2.github.com
30％是好的，但对于像备份这样的应用来说，远远不够。
我的经验是，在这种情况下，平均数据stream使用gzip进行1.2-1.7：1的压缩，最终限制在30-60Mb / s的输出速率（这是跨越现代（大约2010-2012年）高端CPU。
这里的限制通常是数据可以inputCPU本身的速度。
不幸的是，为了使LTO5磁带驱动器保持高兴，它需要160Mb / s左右的原始 （不可压缩）数据速率。 如果馈送可压缩数据，则需要更快的数据速率。
LTO压缩显然要快得多，但效率有点低（相当于gzip -1 – 对于大多数用途来说已经够用了）。 LTO4硬盘和硬盘通常内置AES-256encryption引擎，可以保持这种速度。
这对我的情况意味着我需要一个400％或更好的潜力，才能认为这是值得的。
类似的考虑适用于局域网。 在30Mb / s时，压缩是Gb级networking的障碍，问题在于是否花费更多的时间在networking或压缩上。
