大数据量(16M)的DataSet压缩方法比较

原创：大数据量(16M)的DataSet压缩方法比较
作　　者：		Surpass (网络飞狐)
等　　级：
信 誉 值：		97
所属社区：		.NET技术 Web Services
问题点数：		0
回复次数：		54
发表时间：		2005-12-1 11:39:09

对于在WebService上必须(无法避免的情况下)要传输大量数据的DataSet时，对DataSet压缩是最好的方法，这样可以减少大量在网络传输过程中所占用的时间。 下面对我掌握的的DataSet压缩方法做一个测试，希望高人有斧正之处，也希望需要的人有借鉴之处。 注：经过压缩DataSet的WebService就缺少了通用性，请权衡使用之。 测试源码(仅压缩部分)和结果如下： 条件：压缩前的DataSet的大小为16891323字节(大约16.12M)。 环境：.Net Formatwork 1.1 系统： Windows XP SP1 硬件：P4(2.4G) + 256DDR 方案1：DataSetSurrogate + BinaryFormatter Public Function DataSetToByte(ByVal DataSet As DataSet) As Byte() Dim DSS As New DataSetSurrogate(DataSet) Dim MS As New IO.MemoryStream Dim BF As New BinaryFormatter BF.Serialize(MS, DSS) Dim ReVal() As Byte = MS.ToArray() MS.Close() DSS = Nothing MS = Nothing BF = Nothing Return ReVal End Function 方案2：DataSetSurrogate + BinaryFormatter + SharpZipLib Public Function DataSetToByte(ByVal DataSet As DataSet) As Byte() Dim MS As New IO.MemoryStream Dim ZOS As New ZipOutputStream(MS) ZOS.PutNextEntry(New ZipEntry(DataSet.DataSetName)) Dim BF As New BinaryFormatter Dim DSS As DataSetSurrogate = New DataSetSurrogate(DataSet) BF.Serialize(ZOS, DSS) ZOS.CloseEntry() ZOS.Close() Dim ReVal As Byte() = MS.ToArray MS.Close() MS = Nothing ZOS = Nothing BF = Nothing DSS = Nothing Return ReVal End Function 方案3：zlib Public Function DataSetToByte(ByVal DataSet As DataSet) As Byte() Dim MS As New System.IO.MemoryStream DataSet.WriteXml(MS, XmlWriteMode.WriteSchema) Dim ReVal() As Byte = MS.ToArray MS.Close() MS = Nothing Dim zlib As New vbZLib.Compress zlib.CompressByte(ReVal) zlib = Nothing Return ReVal End Function 结果(压缩后)： 方案1：4420881字节(被压缩掉大约73.83％)，耗时：23200ms 方案2： 696881字节(被压缩掉大约95.87％)，耗时：26621ms 方案3： 422990字节(被压缩掉大约97.50％)，耗时： 680ms 看来，无论压缩率还是耗时都是方案3最优，但是使用了第三方组件。前两个方案对CPU资源占用率的也让人无法接受。 作者：魏滔序 (zhongnian_wei&163.com)

	lcooc(小春) ( ) 信誉：100	2005-12-2 15:54:20	得分: 0
	学习
Top

	gameboy766(古巴) ( ) 信誉：100	2005-12-5 9:12:59	得分: 0
	麻烦问下楼主方案3中提到的第三方组件 vbZLib 那儿有下载？ 另外，我曾经用的是J#下的zip组件java.util.zip，不知道相比那个vbZLib效果如何？
Top

	DebugXP(NULL) ( ) 信誉：100	2005-12-5 9:48:53	得分: 0
	vbZLib.Compress 为何物？
Top

	Surpass(网络飞狐) ( ) 信誉：97	2005-12-5 11:20:00	得分: 0
	vbZLib是我很早以前用vb6做的dll，主要是调用zlibwapi.dll的API，zlibwapi.dll网上有下载，是老外的。有很多网络数据压缩都用这个，包括一些知名的网络音频传输的商业软件。可见该dll不一般，幸运的是这个东西是免费的，好像还开源。 如果哪位需要vbzlib的话我就提供下载，如何？ 用vb6写这个的原因主要是在.net里面拷贝内存块好像有问题，估计是我水平的原因吧。
Top

	liushui1981() ( ) 信誉：100	2005-12-13 9:32:10	得分: 0
	这里必须这样处理吗？？ DataSet.WriteXml(MS, XmlWriteMode.WriteSchema)
Top

	Jackile(慕容剑秋(WSE大量数据传输出现系统错误，亟待解决。。。)) ( ) 信誉：100	2005-12-14 10:13:26	得分: 0
	楼主提供下那个压缩组件吧！
Top

	Surpass(网络飞狐) ( ) 信誉：97	2005-12-19 13:30:28	得分: 0
	很简单的，我还是把vbZLib的压缩部分贴出来吧，解压缩部分是这个的逆过程。 Private Declare Sub CopyMemory Lib "kernel32" Alias "RtlMoveMemory" (hpvDest As Any, hpvSource As Any, ByVal cbCopy As Long) Private Declare Function Compress Lib "zlibwapi.dll" Alias "compress" (dest As Any, destLen As Any, src As Any, ByVal srcLen As Long) As Long Private Const OFFSET As Long = &H8 '压缩数组 Public Function CompressByte(ByteArray() As Byte) As Boolean Dim BufferSize As Long Dim TempBuffer() As Byte 'Create a buffer to hold the compressed data BufferSize = UBound(ByteArray) + 1 BufferSize = BufferSize + (BufferSize * 0.01) + 12 ReDim TempBuffer(BufferSize) 'Compress byte array (data) CompressByte = (Compress(TempBuffer(0), BufferSize, ByteArray(0), UBound(ByteArray) + 1) = 0) 'Add the size of the original data Call CopyMemory(ByteArray(0), CLng(UBound(ByteArray) + 1), OFFSET) 'Remove redundant data ReDim Preserve ByteArray(0 To BufferSize + OFFSET - 1) CopyMemory ByteArray(OFFSET), TempBuffer(0), BufferSize End Function 解压缩是uncompress函数
Top

	cctv555(囧) ( ) 信誉：100	2005-12-19 13:58:36	得分: 0
	楼主强！ 能不能把完整的代码贴出来？或提供vbzlib这个组件？
Top

	Surpass(网络飞狐) ( ) 信誉：97	2005-12-19 18:18:45	得分: 0
	http://www.chenoe.com/blog/vbzlib.dll 刚传过去，可以下载了。下载的要抓紧呀。 另外，这个dll中已经包含ZLibWapi.dll文件的数据了，如果在系统目录下没有这个文件则自动释放。
Top

	upto(阿球|Mobile Smart Client) ( ) 信誉：115	2005-12-19 21:22:37	得分: 0
	楼主要注意,你用WriteXml而不是Serialization, DataRow的版本是保不住的.用于返回数据倒可以,如果要传输DataSet的更改则不行.
Top

	Surpass(网络飞狐) ( ) 信誉：97	2005-12-20 9:45:13	得分: 0
	楼上说的很有道理，谢谢提醒。
Top

	zuilong1208(醉龙) ( ) 信誉：102	2005-12-21 11:05:40	得分: 0
	楼主，你好！ 首先谢谢你的分享！ 现在vbzlib.dll不能下载了， 如果可以，希望你能给我传一份，“zhangming_1208@hotmail.com”
Top

	DebugXP(NULL) ( ) 信誉：100	2005-12-21 12:20:13	得分: 0
	楼主，你好！ 首先谢谢你的分享！ 现在vbzlib.dll不能下载了， 如果可以，希望你能给我传一份，“Debug.net@163.com”
Top

	Surpass(网络飞狐) ( ) 信誉：97	2005-12-21 13:37:51	得分: 0
	请楼上两位查收...
Top

	DebugXP(NULL) ( ) 信誉：100	2005-12-21 14:37:30	得分: 0
	已收到，非常感谢。
Top

	eastsun_genius(大漠狂沙) ( ) 信誉：99	2005-12-22 9:47:29	得分: 0
	gz
Top

	lxkim() ( ) 信誉：100	2005-12-22 9:47:42	得分: 0
	清夜发一份给我，谢谢！ lxkim@126.com
Top

	hunter_32(曠野裡奔嘯的狼) ( ) 信誉：100	2005-12-22 10:02:59	得分: 0
	我的blog http://hunter32.blogcn.com 上面有一個壓縮文件的例子也請大家看一下！
Top

	hyj_828(水梦) ( ) 信誉：100	2005-12-22 10:08:17	得分: 0
	發我一份謝謝!hyj_828@hotmail.com
Top

	lofeo(Transformers.AutoBots.Mr.Surprise) ( ) 信誉：100	2005-12-22 17:44:23	得分: 0
	楼主有没有zlibwapi.dll的说明文档?
Top

	gyf19(秋天的云) ( ) 信誉：100	2005-12-22 17:50:20	得分: 0
	建议楼主继续努力！！做好帮助文档，可以在博客园发布你的最新版本。
Top

	Surpass(网络飞狐) ( ) 信誉：97	2005-12-23 9:23:22	得分: 0
	楼上两位留mail的哥们，请查收。
Top

	upto(阿球|Mobile Smart Client) ( ) 信誉：115	2005-12-23 11:18:40	得分: 0
	楼主，你把方案3改成Binary Serialization看看速度如何 我想知道SharpZipLib的速度是不是真的很慢
Top

	stone_soup(夜不打拾) ( ) 信誉：100	2005-12-29 13:15:18	得分: 0
	急切盼望楼主发送给我一份：ljl_lei@163.com 　　感激不尽．．
Top

	wngwz(敢问路在何方) ( ) 信誉：100	2005-12-31 13:05:32	得分: 0
	楼主！谢谢。 wngwz@msn.com
Top

	kqh0319(华仔) ( ) 信誉：100	2006-1-2 16:39:20	得分: 0
	解壓的代碼 有嗎？
Top

	withjun(withjun) ( ) 信誉：100	2006-1-4 0:23:30	得分: 0
	楼主，也给俺一份吧 withjun@163.com
Top

	wittyfish(凭鱼跃) ( ) 信誉：100	2006-1-4 9:01:46	得分: 0
	找到个网站 http://www.zlib.net/ 多谢楼主啦！~~~~
Top

	lofeo(Transformers.AutoBots.Mr.Surprise) ( ) 信誉：100	2006-1-4 16:38:16	得分: 0
	和 upto(阿球|Mobile Smart Client) 有同感，SharpZipLib和zlibwapi差的也太多了 吧。 第二个用了 DataSetSurrogate + BinaryFormatter ,第三个没有用。
Top

	guopeng_028(.NET转入LIVE中) ( ) 信誉：100	2006-1-4 16:58:30	得分: 0
	关于控件再说 关于dataset压缩 在这里做个记号 学习一下
Top

	doitnow2000(大海) ( ) 信誉：100	2006-1-9 11:26:28	得分: 0
	mark
Top

	luyesql(luyesql) ( ) 信誉：100	2006-1-10 10:32:55	得分: 0
	mark 学学
Top

	mayneed(水云方舟) ( ) 信誉：96	2006-1-10 16:44:46	得分: 0
	也给我一个吧，谢了 mayneed@163.com
Top

	mayneed(水云方舟) ( ) 信誉：96	2006-1-10 16:58:51	得分: 0
	请问一下，如何在客户端解压并序列化呢
Top

	Surpass(网络飞狐) ( ) 信誉：97	2006-1-12 14:39:34	得分: 0
	http://www.chenoe.com/blog/vbzlib.dll
Top

	ah__fu(阿福) ( ) 信誉：96	2006-1-12 20:27:57	得分: 0
	看了这篇帖子后，我也做了一下测试，我读了一个1800条记录的DataTable进行测试，结果如下： 方案 文件大小 时间 DataSet + BinaryFormat 1110655 343.75 DataSetSurrogate + BinaryFormat 292664 62.5 DataSet + BinaryFormat + GZip 128669 296.875 DataSetSurrogate + BinaryFormat + GZip 92985 93.75 我怀疑楼主的第三个方案，在没有用DataSetSurrogate的情况下，把DataSet序列化为XML居然在时间和空间上都是最优的，怎么可能？ 我采用的是GZIP的压缩算法，GZIP算法在压缩比和压缩速度上都比ZIP算法要好些。 我测试过的算法中，RAR的压缩比是最高的，其次是BZIP2，然后是GZIP，然后是ZIP。 我不知道你的VBZLIB到底用的是什么算法，而且你也没贴出可用的C#代码，无法得知是如何压缩和解压缩的。 继续讨论…………
Top

	glhx(呵呵) ( ) 信誉：99	2006-1-12 23:10:06	得分: 0
	同意upto(阿球|Mobile Smart Client)的说法，我用ICSharpCode.SharpZipLib.dll来进行压缩，用了writexml方法，datarow的版本没有保存下来，结果用于更新时数据全乱了，大家要注意这个问题
Top

	Surpass(网络飞狐) ( ) 信誉：97	2006-1-13 9:21:06	得分: 0
	to ah__fu(阿福) 我测试的结果，我保证压缩比数据是完全正确的，时间数据上可能会受瞬间网络和数据库压力的影响，但不误差不会太大。而且我还用ZLib做了其他的项目，效果一直都理想。 另外，我以前与RAR进行过比较，压缩结果非常接近。 如果您怀疑我的测试，那您可以自己重新测试一下。上面有有vbZLib的下载链接，压缩的代码都有了，解压缩部分就不难了。 to glhx(呵呵) and upto(阿球|Mobile Smart Client) 二位说的很有道理，谢谢。我这里主要只是说明压缩比例，根本就没考虑数据版本问题。
Top

	fxf66() ( ) 信誉：100	2006-1-19 11:02:39	得分: 0
	关注
Top

	lufree(荆州城公子三求计，博望坡军师初用兵) ( ) 信誉：86	2006-1-22 0:02:41	得分: 0
	感觉中国人挺有意思的，做出来一个东西，不管它效果怎么样，先写上作者是谁谁谁。。。。 呵呵，有意思。
Top

	Modest(塞北雪貂 -- 偶最欣赏楼主的分) ( ) 信誉：100	2006-1-24 15:35:50	得分: 0
	to 楼上 看不起中国人就别看，最讨厌你这种自我高尚的嘴脸。 感谢楼主。
Top

	lufree(荆州城公子三求计，博望坡军师初用兵) ( ) 信誉：86	2006-1-24 17:03:01	得分: 0
	对不起我错了，向大家道歉。
Top

	hunter_32(曠野裡奔嘯的狼) ( ) 信誉：100	2006-1-24 19:34:18	得分: 0
	用這裡 http://hunter32.blogcn.com上面的壓縮文件的方法，來壓縮DateSet效果最佳！！！
Top

	harisonh2l(韩) ( ) 信誉：80	2006-2-17 15:24:09	得分: 0
	学习啊
Top

	songsu(松鼠) ( ) 信誉：98	2006-2-20 16:02:28	得分: 0
	http://www.zlib.net/ 这个网站上提供的方法好像不大好用，
Top

	cansum396(沉觉不醒) ( ) 信誉：99	2006-2-20 16:55:34	得分: 0
	make
Top

	dolfen(海之豚(每天进步一点点)) ( ) 信誉：100	2006-2-21 15:52:41	得分: 0
	学习
Top

	dolfen(海之豚(每天进步一点点)) ( ) 信誉：100	2006-2-27 17:20:11	得分: 0
	请问楼主你的.Net Formatwork 是 1.1 还是 2.0 ？ 你是不是有DataSetSurrogate类或dll，它好像只有2.0才自带。 发一份给我吗？还有你的zlib，非常谢谢！ 我的Ｅ-Ｍail: dolfen￥qq.com （￥改为@）
Top

	TSD(因为有你而精彩) ( ) 信誉：95	2006-3-11 10:47:42	得分: 0
	mark
Top

	friendjin(夜难眠) ( ) 信誉：100	2006-3-17 19:54:27	得分: 0
	也给我一个吧，谢谢了 friendjin@163.com
Top

	mmqingfeng(漠漠青峰) ( ) 信誉：99	2006-3-17 20:17:25	得分: 0
	mark
Top

	ExeMan(愚公移山(笨)--精卫填海(傻)) ( ) 信誉：100	2006-3-18 22:23:48	得分: 0
	学习。
Top

	flyye_cs(一叶孤舟) ( ) 信誉：100	2006-3-19 0:14:14	得分: 0
	mark...
Top

	hualin(林子) ( ) 信誉：100	2006-3-20 11:34:30	得分: 0
	mark
Top