BearRui(AK-47)
花开有时,错过了一日便错过了一季,就象人生错过了相遇,就不再找寻到美丽的相聚
随笔- 39  文章- 2  评论- 1287 
博客园  首页  新随笔  联系  管理  订阅 订阅
WEB高性能开发(10) - 疯狂的HTML压缩

前言:    

     上一篇随笔中网友 skyaspnet 问我如何压缩HTML,当时回答是推荐他使用gzip,后来想想,要是能把所有的html,jsp(aspx)在运行前都压缩成1行未免不是一件好事啊。一般我们启动gzip都比较少对html启动gzip,因为现在的html都是动态的,不会使用浏览器缓存,而启用gzip的话每次请求都需要压缩,会比较消耗服务器资源,对js,css启动gzip比较好是因为js,css都会使用缓存。我个人觉得的压缩html的最大好处就是一本万利,只要写好了一次,以后所有程序都可以使用,不会增加任何额外的开发工作。

 

     在“JS、CSS的合并、压缩、缓存管理”一文中说到自己写过的1个自动合并、压缩JS,CSS,并添加版本号的组件。这次把压缩html的功能也加入到该组件中,流程很简单,就是在程序启动(contextInitialized or Application_Start)的时候扫描所有html,jsp(aspx)进行压缩。

 

压缩的注意事项:

     实现的方式主要是用正则表达式去查找,替换。在html压缩的时候,主要要注意下面几点:

          1. pre,textarea 标签里面的内容格式需要保留,不能压缩。

          2. 去掉html注释的时候,有些注释是不能去掉的,比如:<!--[if IE 6]> ..... <![endif]-->

          3. 压缩嵌入式js中的注释要注意,因为可能注释符号会出现在字符串中,比如: var url = "http://www.cnblogs.com";    // 前面的//不是注释

              去掉JS换行符的时候,不能直接跟一下行动内容,需要有空格,考虑下面的代码:

              else

                 return;

             如果不带空格,则变成elsereturn。

          4. jsp(aspx) 中很有可能会使用<% %>嵌入一些服务器代码,这个时候也需要单独处理,里面注释的处理方法跟js的一样。

 

源代码:

    下面是java实现的源代码,也可以 猛击此处 下载该代码,相信大家都看的懂,也很容易改成net代码:

import java.io.StringReader;
import java.io.StringWriter;
import java.util.*;
import java.util.regex.*;

/*******************************************
 * 压缩jsp,html中的代码,去掉所有空白符、换行符
 * @author  bearrui(ak-47)
 * @version 0.1
 * @date     2010-5-13
 *******************************************/
public class HtmlCompressor {
	private static String tempPreBlock = "%%%HTMLCOMPRESS~PRE&&&";
	private static String tempTextAreaBlock = "%%%HTMLCOMPRESS~TEXTAREA&&&";
	private static String tempScriptBlock = "%%%HTMLCOMPRESS~SCRIPT&&&";
	private static String tempStyleBlock = "%%%HTMLCOMPRESS~STYLE&&&";
	private static String tempJspBlock = "%%%HTMLCOMPRESS~JSP&&&";
	
	private static Pattern commentPattern = Pattern.compile("<!--\\s*[^\\[].*?-->", Pattern.DOTALL | Pattern.CASE_INSENSITIVE | Pattern.MULTILINE);
	private static Pattern itsPattern = Pattern.compile(">\\s+?<", Pattern.DOTALL | Pattern.CASE_INSENSITIVE | Pattern.MULTILINE);
	private static Pattern prePattern = Pattern.compile("<pre[^>]*?>.*?</pre>", Pattern.DOTALL | Pattern.CASE_INSENSITIVE | Pattern.MULTILINE); 
	private static Pattern taPattern = Pattern.compile("<textarea[^>]*?>.*?</textarea>", Pattern.DOTALL | Pattern.CASE_INSENSITIVE | Pattern.MULTILINE);
	private static Pattern jspPattern = Pattern.compile("<%([^-@][\\w\\W]*?)%>", Pattern.DOTALL | Pattern.CASE_INSENSITIVE | Pattern.MULTILINE);
	// <script></script>
	private static Pattern scriptPattern = Pattern.compile("(?:<script\\s*>|<script type=['\"]text/javascript['\"]\\s*>)(.*?)</script>", Pattern.DOTALL | Pattern.CASE_INSENSITIVE | Pattern.MULTILINE);
	private static Pattern stylePattern = Pattern.compile("<style[^>()]*?>(.+)</style>", Pattern.DOTALL | Pattern.CASE_INSENSITIVE | Pattern.MULTILINE);

	// 单行注释,
	private static Pattern signleCommentPattern = Pattern.compile("//.*");
	// 字符串匹配
	private static Pattern stringPattern = Pattern.compile("(\"[^\"\\n]*?\"|'[^'\\n]*?')");
	// trim去空格和换行符
	private static Pattern trimPattern = Pattern.compile("\\n\\s*",Pattern.MULTILINE);
	private static Pattern trimPattern2 = Pattern.compile("\\s*\\r",Pattern.MULTILINE);
	// 多行注释
	private static Pattern multiCommentPattern = Pattern.compile("/\\*.*?\\*/", Pattern.DOTALL | Pattern.CASE_INSENSITIVE | Pattern.MULTILINE);

	private static String tempSingleCommentBlock = "%%%HTMLCOMPRESS~SINGLECOMMENT&&&";  // //占位符
	private static String tempMulitCommentBlock1 = "%%%HTMLCOMPRESS~MULITCOMMENT1&&&";  // /*占位符
	private static String tempMulitCommentBlock2 = "%%%HTMLCOMPRESS~MULITCOMMENT2&&&";  // */占位符
	
	
	public static String compress(String html) throws Exception {
		if(html == null || html.length() == 0) {
			return html;
		}
		
		List<String> preBlocks = new ArrayList<String>();
		List<String> taBlocks = new ArrayList<String>();
		List<String> scriptBlocks = new ArrayList<String>();
		List<String> styleBlocks = new ArrayList<String>();
		List<String> jspBlocks = new ArrayList<String>();
		
		String result = html;
		
		//preserve inline java code
		Matcher jspMatcher = jspPattern.matcher(result);
		while(jspMatcher.find()) {
			jspBlocks.add(jspMatcher.group(0));
		}
		result = jspMatcher.replaceAll(tempJspBlock);
		
		//preserve PRE tags
		Matcher preMatcher = prePattern.matcher(result);
		while(preMatcher.find()) {
			preBlocks.add(preMatcher.group(0));
		}
		result = preMatcher.replaceAll(tempPreBlock);
		
		//preserve TEXTAREA tags
		Matcher taMatcher = taPattern.matcher(result);
		while(taMatcher.find()) {
			taBlocks.add(taMatcher.group(0));
		}
		result = taMatcher.replaceAll(tempTextAreaBlock);
		
		//preserve SCRIPT tags
		Matcher scriptMatcher = scriptPattern.matcher(result);
		while(scriptMatcher.find()) {
			scriptBlocks.add(scriptMatcher.group(0));
		}
		result = scriptMatcher.replaceAll(tempScriptBlock);
		
		// don't process inline css 
		Matcher styleMatcher = stylePattern.matcher(result);
		while(styleMatcher.find()) {
			styleBlocks.add(styleMatcher.group(0));
		}
		result = styleMatcher.replaceAll(tempStyleBlock);
		
		//process pure html
		result = processHtml(result);
		
		//process preserved blocks
		result = processPreBlocks(result, preBlocks);
		result = processTextareaBlocks(result, taBlocks);
		result = processScriptBlocks(result, scriptBlocks);
		result = processStyleBlocks(result, styleBlocks);
		result = processJspBlocks(result, jspBlocks);
		
		preBlocks = taBlocks = scriptBlocks = styleBlocks = jspBlocks = null;
		
		return result.trim();
	}
	
	private static String processHtml(String html) {
		String result = html;
		
		//remove comments
//		if(removeComments) {
			result = commentPattern.matcher(result).replaceAll("");
//		}
		
		//remove inter-tag spaces
//		if(removeIntertagSpaces) {
			result = itsPattern.matcher(result).replaceAll("><");
//		}
		
		//remove multi whitespace characters
//		if(removeMultiSpaces) {
			result = result.replaceAll("\\s{2,}"," ");
//		}
				
		return result;
	}
	
	private static String processJspBlocks(String html, List<String> blocks){
		String result = html;
		for(int i = 0; i < blocks.size(); i++) {
			blocks.set(i, compressJsp(blocks.get(i)));
		}
		//put preserved blocks back
		while(result.contains(tempJspBlock)) {
			result = result.replaceFirst(tempJspBlock, Matcher.quoteReplacement(blocks.remove(0)));
		}
		
		return result;
	}
	private static String processPreBlocks(String html, List<String> blocks) throws Exception {
		String result = html;
		
		//put preserved blocks back
		while(result.contains(tempPreBlock)) {
			result = result.replaceFirst(tempPreBlock, Matcher.quoteReplacement(blocks.remove(0)));
		}
		
		return result;
	}
	
	private static String processTextareaBlocks(String html, List<String> blocks) throws Exception {
		String result = html;
		
		//put preserved blocks back
		while(result.contains(tempTextAreaBlock)) {
			result = result.replaceFirst(tempTextAreaBlock, Matcher.quoteReplacement(blocks.remove(0)));
		}
		
		return result;
	}
	
	private static String processScriptBlocks(String html, List<String> blocks) throws Exception {
		String result = html;
		
//		if(compressJavaScript) {
			for(int i = 0; i < blocks.size(); i++) {
				blocks.set(i, compressJavaScript(blocks.get(i)));
			}
//		}
		
		//put preserved blocks back
		while(result.contains(tempScriptBlock)) {
			result = result.replaceFirst(tempScriptBlock, Matcher.quoteReplacement(blocks.remove(0)));
		}
		
		return result;
	}
	
	private static String processStyleBlocks(String html, List<String> blocks) throws Exception {
		String result = html;
		
//		if(compressCss) {
			for(int i = 0; i < blocks.size(); i++) {
				blocks.set(i, compressCssStyles(blocks.get(i)));
			}
//		}
		
		//put preserved blocks back
		while(result.contains(tempStyleBlock)) {
			result = result.replaceFirst(tempStyleBlock, Matcher.quoteReplacement(blocks.remove(0)));
		}
		
		return result;
	}
	
	private static String compressJsp(String source)  {
		//check if block is not empty
		Matcher jspMatcher = jspPattern.matcher(source);
		if(jspMatcher.find()) {
			String result = compressJspJs(jspMatcher.group(1));
			return (new StringBuilder(source.substring(0, jspMatcher.start(1))).append(result).append(source.substring(jspMatcher.end(1)))).toString();
		} else {
			return source;
		}
	}	
	private static String compressJavaScript(String source)  {
		//check if block is not empty
		Matcher scriptMatcher = scriptPattern.matcher(source);
		if(scriptMatcher.find()) {
			String result = compressJspJs(scriptMatcher.group(1));
			return (new StringBuilder(source.substring(0, scriptMatcher.start(1))).append(result).append(source.substring(scriptMatcher.end(1)))).toString();
		} else {
			return source;
		}
	}
		
	private static String compressCssStyles(String source)  {
		//check if block is not empty
		Matcher styleMatcher = stylePattern.matcher(source);
		if(styleMatcher.find()) {
			// 去掉注释,换行
			String result= multiCommentPattern.matcher(styleMatcher.group(1)).replaceAll("");
			result = trimPattern.matcher(result).replaceAll("");
			result = trimPattern2.matcher(result).replaceAll("");
			return (new StringBuilder(source.substring(0, styleMatcher.start(1))).append(result).append(source.substring(styleMatcher.end(1)))).toString();
		} else {
			return source;
		}
	}
	
	private static String compressJspJs(String source){
		String result = source;
		// 因注释符合有可能出现在字符串中,所以要先把字符串中的特殊符好去掉
		Matcher stringMatcher = stringPattern.matcher(result);
		while(stringMatcher.find()){
			String tmpStr = stringMatcher.group(0);
			
			if(tmpStr.indexOf("//") != -1 || tmpStr.indexOf("/*") != -1 || tmpStr.indexOf("*/") != -1){
				String blockStr = tmpStr.replaceAll("//", tempSingleCommentBlock).replaceAll("/\\*", tempMulitCommentBlock1)
								.replaceAll("\\*/", tempMulitCommentBlock2);
				result = result.replace(tmpStr, blockStr);
			}
		}
		// 去掉注释
		result = signleCommentPattern.matcher(result).replaceAll("");
		result = multiCommentPattern.matcher(result).replaceAll("");
		result = trimPattern2.matcher(result).replaceAll("");
		result = trimPattern.matcher(result).replaceAll(" ");
		// 恢复替换掉的字符串
		result = result.replaceAll(tempSingleCommentBlock, "//").replaceAll(tempMulitCommentBlock1, "/*")
				.replaceAll(tempMulitCommentBlock2, "*/");
		
		return result;
	}
}

使用注意事项:

 

      使用了上面方法后,再运行程序,是不是发现每个页面查看源代码的时候都变成1行啦,还不错吧,但是在使用的时候还是要注意一些问题:

           1. 嵌入js本来想调用yuicompressor来压缩,yuicompressor压缩JS前,会先编译js是否合法,因我们嵌入的js中可能很多会用到一些服务器端代码,比如 var now = <%=DateTime.now %> ,这样的代码会编译不通过,所以无法使用yuicompressor。

              最后只能自己写压缩JS代码,自己写的比较粗燥,所以有个问题还解决,就是如果开发人员在一句js代码后面没有加分号的话,压缩成1行就很有可能出问题。所以使用这个需要保证每条语句结束后都必须带分号。

 

           2. 因为是在程序启动的时候压缩所有jsp(aspx),所以如果是用户请求的时候动态产生的html就无法压缩。


    有需要请查看:高性能WEB开发系列

[作者]:BearRui(AK-47)
[博客]: http://www.cnblogs.com/BearsTaR/
[声明]:本博所有文章版权归作者所有(除特殊说明以外),转载请注明出处.
绿色通道:好文要顶关注我收藏该文与我联系
posted on 2010-05-17 08:51 BearRui(AK-47) 阅读(6810) 评论(22) 编辑 收藏
发表评论
1850916
 回复 引用 查看   
#1楼 2010-05-17 08:53 | 偶卖糕的      
现在启用gzip都对html内容做了压缩的,对服务器的影响很小
 回复 引用 查看   
#2楼[楼主] 2010-05-17 08:55 | Bear.sTaR{R}      
引用偶卖糕的:现在启用gzip都对html内容做了压缩的,对服务器的影响很小

gzip每次请求都需要压缩,并不是说他对服务器影响大,我的想法是就算启用gzip,我这个方法也不会有任何负作用。反正只是在启动的时候压缩一次,启动速度慢点而已。

 回复 引用 查看   
#3楼 2010-05-17 08:56 | killkill      
引用偶卖糕的:现在启用gzip都对html内容做了压缩的,对服务器的影响很小

是的,浪费点CPU罢了,反正现在CPU很多核。

 回复 引用 查看   
#4楼[楼主] 2010-05-17 09:07 | Bear.sTaR{R}      
也许是都很不费CPU,可是要注意1个事实,现在没多少网站会对ASPX,jsp等动态页面开启GZIP,国内别说动态页面,就连js,css都很少有开启gzip的,博客园,csdn,taobao,alibaba,yahooo.cn 都没有开启gzip,这是为什么了?
 回复 引用 查看   
#5楼 2010-05-17 09:12 | 黑色      
腾讯不是压缩了么。。
 回复 引用 查看   
#6楼[楼主] 2010-05-17 09:16 | Bear.sTaR{R}      
引用黑色:腾讯不是压缩了么。。

不知道你说的是哪个网站,我监控了tencent.com,qq.com,paipai.com 都是没有gzip的,js,css都没启用gzip.

 回复 引用 查看   
#7楼 2010-05-17 09:29 | Allen Zhang      
压缩的目的是为了什么?
对于web服务器,流量从来都不是瓶颈问题

 回复 引用 查看   
#8楼 2010-05-17 09:30 | Kai.Ma      
@Bear.sTaR{R}

qq.com有对js进行gzip压缩的。用Firebug从http响应头能看出来

 回复 引用 查看   
#9楼[楼主] 2010-05-17 10:00 | Bear.sTaR{R}      
引用Kai.Ma:
@Bear.sTaR{R}

qq.com有对js进行gzip压缩的。用Firebug从http响应头能看出来

确实,但不知道为什么用httpwatch监控的时候,发现压缩比率都是为0,webpagetest.org 测试又能显示压缩的百分比。用 webpagetest.org测试博客园也开启了gzip。

收回之前说的话,开启gzip的还是很多的,我监控错了。

 回复 引用 查看   
#10楼[楼主] 2010-05-17 10:02 | Bear.sTaR{R}      
引用Allen Zhang:
压缩的目的是为了什么?
对于web服务器,流量从来都不是瓶颈问题


流量是不是瓶颈,流量只是为了让用户更快的下载,用户就能更快的打开网页,节约流量浪费的成本。

 回复 引用 查看   
#11楼 2010-05-17 10:34 | skyaspnet      
非常感谢您的分享,谢谢!
 回复 引用 查看   
#12楼[楼主] 2010-05-17 10:49 | Bear.sTaR{R}      
@skyaspnet
共同学习,进步,^_^

 回复 引用 查看   
#13楼 2010-05-17 14:32 | killkill      
引用Allen Zhang:
压缩的目的是为了什么?
对于web服务器,流量从来都不是瓶颈问题


有些观点认为流量才是Web服务器的瓶颈,可能所处的背景不同吧,这个不管他了,我觉得HTTP压缩的好处是可以使带宽有限的用户更快地LOAD进网页,特别是我国实在很一般的网络环境。

 回复 引用 查看   
#14楼[楼主] 2010-05-17 14:44 | Bear.sTaR{R}      
据YUI团队的统计,页面从开始到最终显示完毕的时间里,有80-90%是花在前台的资源加载和处理,而并不是后台。
 回复 引用 查看   
#15楼 2010-05-17 18:34 | JimLiu      
这种字符层面上的压缩一遍后,再Gzip,事实上和直接Gzip相差很小。这个道理和先用JPEG压缩一幅图片,再用RAR压缩,效果就很小了,这是一个道理。
 回复 引用 查看   
#16楼[楼主] 2010-05-17 19:45 | BearRui(AK-47)      
引用JimLiu:这种字符层面上的压缩一遍后,再Gzip,事实上和直接Gzip相差很小。这个道理和先用JPEG压缩一幅图片,再用RAR压缩,效果就很小了,这是一个道理。

是相差很小,所以我说了,如果不开启gzip,还是不错的选择,如果开启gzip也不会如何负作用。

 回复 引用 查看   
#17楼 2010-05-20 21:04 | goguoguo土豆      
呵呵,这里的几篇文章在优化方面介绍的不错啊:
http://www.tu321.com/index.php/tag/%E7%BD%91%E7%AB%99%E4%BC%98%E5%8C%96/

 回复 引用 查看   
#18楼[楼主] 2010-05-20 21:20 | BearRui(AK-47)      
@goguoguo土豆
呵呵,学习ing

 回复 引用 查看   
#19楼 2010-05-23 00:48 | 卡索      
个人觉得对js的压缩首先需要做的是进行js格式化,比如你说的else
return;这样子的语句,如果先进行格式化就会是
else{
return;
}
这样子了,那么压缩的时候也就不存在错误了...

另外我觉得针对aspx页面的js原则上不要进行变量名等等的压缩,但是可以把代码压缩成一行,比如有
var a="<%=str%>";
var b="<%=str1%>";
var c="<%=str2%>";
类似的代码,完全可以压缩成var a=a="<%=str%>",b="<%=str1%>",c="<%=str2%>";这样子的代码,不要去太过的去做其他太多的处理,因为这个实际情况一般都比较复杂,有时候还需要检查html代码,如果都给搞乱了检查起来就非常的费事了..



 回复 引用 查看   
#20楼[楼主] 2010-05-23 10:07 | BearRui(AK-47)      
@卡索
如果要做格式化就比较麻烦了,要处理的代码就比较麻烦。我这个html压缩比较简单,所以没做这么复杂的处理。我这里的压缩都只是压缩成1行,并没进行变量处理

 回复 引用 查看   
#21楼 2010-06-18 20:13 | 罩哥      
文章很精彩,推荐一下!
 回复 引用 查看   
#22楼[楼主] 2010-06-18 21:27 | BearRui(AK-47)      
谢谢推荐
刷新评论列表  刷新页面  返回页首
发表评论

昵称: [登录] [注册]

主页:

邮箱:(仅博主可见)

验证码: 验证码 看不清,换一个

评论内容:

  登录  注册

[使用Ctrl+Enter键快速提交评论]

0 1736800 OQ/pG5iz8t0=
首页博问闪存新闻园子招聘知识库
最新IT新闻:
· 苹果员工称下一代iPad显示效果“令人惊叹”
· 海盗湾:2012是风暴之年
· 苹果市值超微软Google之和 超瑞典GDP
· LinkedIn四季度净利690万美元 同比增长30%
· 微软高管详解ARM版Win 8:提供Office 15
» 更多新闻...
最新知识库文章:
· 如何学习一门新的编程语言?
· 学习不同编程语言的重要性
· 为什么我喜欢富于表达性的编程语言
· 计算机专业的女生为什么要学编程
· 前端必读:浏览器内部工作原理
» 更多知识库文章...

China-pub 2011秋季教材巡展
China-Pub 计算机绝版图书按需印刷服务

抓虾
google reader
鲜果
哪吒
QQ邮箱
http://wap.feedsky.com/BearRui
昵称:BearRui(AK-47)
园龄:5年10个月
荣誉:推荐博客
粉丝:124
关注:3

搜索

 

最新随笔

  • 1. 产生唯一随机码的方法分析。
  • 2. URL中允许携带sessionid带来的安全隐患。
  • 3. JS 实现完美include
  • 4. 基于模板的excel导出
  • 5. 实现if elseif else的jsp标签。
  • 6. 记一复杂页面的前端优化(2) - 其他优化
  • 7. 记一复杂页面的前端优化(1) - 不一样的延迟加载
  • 8. 名站技术分析 — tudou网首页下列菜单的弹出效果
  • 9. LESS 让css也支持变量,运算符,include,嵌套规则等等
  • 10. CSS技巧 — 不使用图片实现圆角、阴影、渐变等功能

随笔分类(38)

  • .NET(11)
  • CSS(3)
  • JAVA(2)
  • javascript(4)
  • Life(5)
  • WEB(4)
  • 高性能WEB开发(5)
  • 浏览器(1)
  • 名站技术分析(3)

随笔档案(39)

  • 2010年10月 (1)
  • 2010年8月 (3)
  • 2010年7月 (5)
  • 2010年6月 (4)
  • 2010年5月 (6)
  • 2006年6月 (4)
  • 2006年5月 (7)
  • 2006年4月 (9)

积分与排名

  • 积分 - 178236
  • 排名 - 485

最新评论

阅读排行榜

评论排行榜

推荐排行榜

Copyright ©2012 BearRui(AK-47)