手写一套迷你版HTTP服务器

本文主要介绍如何通过netty来手写一套简单版的HTTP服务器,同时将关于netty的许多细小知识点进行了串联，用于巩固和提升对于netty框架的掌握程度。

服务器运行效果

服务器支持对静态文件css，js，html，图片资源的访问。通过网络的形式对这些文件可以进行访问，相应截图如下所示：

手写一套迷你版HTTP服务器


支持对于js，css，html等文件的访问：

 

手写一套迷你版HTTP服务器

 

手写一套迷你版HTTP服务器


然后引用相应的pom依赖文件信息：

 1         <dependency>
 2            <groupId>com.alibaba</groupId>
 3             <artifactId>fastjson</artifactId>
 4             <version>1.2.47</version>
 5         </dependency>
 6 
 7         <dependency>
 8             <groupId>org.projectlombok</groupId>
 9             <artifactId>lombok</artifactId>
10             <optional>true</optional>
11         </dependency>
12 
13         <dependency>
14             <groupId>io.netty</groupId>
15             <artifactId>netty-all</artifactId>
16             <version>4.1.6.Final</version>
17         </dependency>
18 
19         <dependency>
20             <groupId>org.slf4j</groupId>
21             <artifactId>slf4j-api</artifactId>
22             <version>1.7.13</version>
23         </dependency>
24 
25         <dependency>
26             <groupId>cglib</groupId>
27             <artifactId>cglib</artifactId>
28             <version>3.2.6</version>
29         </dependency>

 

导入依赖之后，新建一个包itree.demo(包名可以自己随便定义)

定义一个启动类WebApplication.java（有点类似于springboot的那种思路）

 1 package itree.demo;
 2 
 3 import com.sise.itree.ITreeApplication;
 4 
 5 /**
 6  * @author idea
 7  * @data 2019/4/30
 8  */
 9 public class WebApplication {
10 
11     public static void main(String[] args) throws IllegalAccessException, InstantiationException {
12         ITreeApplication.start(WebApplication.class);
13     }
14 }

 

在和这个启动类同级别的包底下，建立itree.demo.controller和itree.demo.filter包，主要是用于做测试：

建立一个测试使用的Controller：

 1 package itree.demo.controller;
 2 
 3 import com.sise.itree.common.BaseController;
 4 import com.sise.itree.common.annotation.ControllerMapping;
 5 import com.sise.itree.core.handle.response.BaseResponse;
 6 import com.sise.itree.model.ControllerRequest;
 7 
 8 /**
 9  * @author idea
10  * @data 2019/4/30
11  */
12 @ControllerMapping(url = "/myController")
13 public class MyController implements BaseController {
14 
15     @Override
16     public BaseResponse doGet(ControllerRequest controllerRequest) {
17         String username= (String) controllerRequest.getParameter("username");
18         System.out.println(username);
19         return new BaseResponse(1,username);
20     }
21 
22     @Override
23     public BaseResponse doPost(ControllerRequest controllerRequest) {
24         return null;
25     }
26 }

 

这里面的BaseController是我自己在Itree包里面编写的接口，这里面的格式有点类似于javaee的servlet，之前我在编写代码的时候有点参考了servlet的设计。(注解里面的url正是匹配了客户端访问时候所映射的url链接)

编写相应的过滤器：

 1 package itree.demo.filter;
 2 
 3 import com.sise.itree.common.BaseFilter;
 4 import com.sise.itree.common.annotation.Filter;
 5 import com.sise.itree.model.ControllerRequest;
 6 
 7 /**
 8  * @author idea
 9  * @data 2019/4/30
10  */
11 @Filter(order = 1)
12 public class MyFilter implements BaseFilter {
13 
14     @Override
15     public void beforeFilter(ControllerRequest controllerRequest) {
16         System.out.println("before");
17     }
18 
19     @Override
20     public void afterFilter(ControllerRequest controllerRequest) {
21         System.out.println("after");
22     }
23 }

 

通过代码的表面意思，可以很好的理解这里大致的含义。当然，如果过滤器有优先顺序的话，可以通过@Filter注解里面的order属性进行排序。搭建起多个controller和filter之后，整体项目的结构如下所示：

手写一套迷你版HTTP服务器


基础的java程序写好之后，便是相应的resources文件了：
这里提供了可适配性的配置文件，默认配置文件命名为resources的config/itree-config.properties文件：

 

暂时可提供的配置有以下几个：

server.port=9090
index.page=html/home.html
not.found.page=html/404.html

结合相应的静态文件放入之后，整体的项目结构图如下所示：

手写一套迷你版HTTP服务器

这个时候可以启动之前编写的WebApplication启动类

 

启动的时候控制台会打印出相应的信息：

手写一套迷你版HTTP服务器

启动类会扫描同级目录底下所有带有@Filter注解和@ControllerMapping注解的类，然后加入指定的容器当中。（这里借鉴了Spring里面的ioc容器的思想）

启动之后，进行对于上述controller接口的访问测试，便可以查看到以下信息的内容：

手写一套迷你版HTTP服务器


同样，我们查看控制台的信息打印：

 

手写一套迷你版HTTP服务器


controller接收数据之前，通过了三层的filter进行过滤，而且过滤的顺序也是和我们之前预期所想的那样一直，按照order从小到大的顺序执行（同样我们可以接受post类型的请求）

 

除了常规的接口类型数据响应之外，还提供有静态文件的访问功能：

手写一套迷你版HTTP服务器


对于静态文件里面的html也可以通过网络url的形式来访问：


home.html文件内容如下所示：

 1 <!DOCTYPE html>
 2 <html lang="en">
 3 <head>
 4     <meta charset="UTF-8">
 5     <title>Title</title>
 6 </head>
 7 <body>
 8 this is home
 9 </body>
10 </html>

 

我们在之前说的properties文件里面提及了相应的初始化页面配置是：

index.page=html/home.html

因此，访问的时候默认的http://localhost:9090/就会跳转到该指定页面：

手写一套迷你版HTTP服务器


假设不配置properties文件的话，则会采用默认的页面跳转，默认的端口号8080

 

手写一套迷你版HTTP服务器


默认的404页面为

 

手写一套迷你版HTTP服务器


基本的使用步骤大致如上述所示。

那么又该怎么来进行这样的一套框架设计和编写呢？

首先从整体设计方面，核心内容是分为了netty的server和serverHandler处理器：

首先是接受数据的server端：

 1 import io.netty.bootstrap.ServerBootstrap;
 2 import io.netty.channel.ChannelFuture;
 3 import io.netty.channel.ChannelInitializer;
 4 import io.netty.channel.EventLoopGroup;
 5 import io.netty.channel.nio.NioEventLoopGroup;
 6 import io.netty.channel.socket.SocketChannel;
 7 import io.netty.channel.socket.nio.NioServerSocketChannel;
 8 import io.netty.handler.codec.http.HttpObjectAggregator;
 9 import io.netty.handler.codec.http.HttpRequestDecoder;
10 import io.netty.handler.codec.http.HttpResponseEncoder;
11 import io.netty.handler.stream.ChunkedWriteHandler;
12 
13 /**
14  * @author idea
15  * @data 2019/4/26
16  */
17 public class NettyHttpServer {
18 
19     private int inetPort;
20 
21     public NettyHttpServer(int inetPort) {
22         this.inetPort = inetPort;
23     }
24 
25     public int getInetPort() {
26         return inetPort;
27     }
28 
29 
30     public void init() throws Exception {
31 
32         EventLoopGroup parentGroup = new NioEventLoopGroup();
33         EventLoopGroup childGroup = new NioEventLoopGroup();
34 
35         try {
36             ServerBootstrap server = new ServerBootstrap();
37             // 1. 绑定两个线程组分别用来处理客户端通道的accept和读写时间
38             server.group(parentGroup, childGroup)
39                     // 2. 绑定服务端通道NioServerSocketChannel
40                     .channel(NioServerSocketChannel.class)
41                     // 3. 给读写事件的线程通道绑定handler去真正处理读写
42                     // ChannelInitializer初始化通道SocketChannel
43                     .childHandler(new ChannelInitializer<SocketChannel>() {
44                         @Override
45                         protected void initChannel(SocketChannel socketChannel) throws Exception {
46                             // 请求解码器
47                             socketChannel.pipeline().addLast("http-decoder", new HttpRequestDecoder());
48                             // 将HTTP消息的多个部分合成一条完整的HTTP消息
49                             socketChannel.pipeline().addLast("http-aggregator", new HttpObjectAggregator(65535));
50                             // 响应转码器
51                             socketChannel.pipeline().addLast("http-encoder", new HttpResponseEncoder());
52                             // 解决大码流的问题，ChunkedWriteHandler：向客户端发送HTML5文件
53                             socketChannel.pipeline().addLast("http-chunked", new ChunkedWriteHandler());
54                             // 自定义处理handler
55                             socketChannel.pipeline().addLast("http-server", new NettyHttpServerHandler());
56                         }
57                     });
58 
59             // 4. 监听端口（服务器host和port端口），同步返回
60             ChannelFuture future = server.bind(this.inetPort).sync();
61             System.out.println("[server] opening in "+this.inetPort);
62             // 当通道关闭时继续向后执行，这是一个阻塞方法
63             future.channel().closeFuture().sync();
64         } finally {
65             childGroup.shutdownGracefully();
66             parentGroup.shutdownGracefully();
67         }
68     }
69 
70 }

 

Netty接收数据的处理器NettyHttpServerHandler 代码如下：

  1 import com.alibaba.fastjson.JSON;
  2 import com.sise.itree.common.BaseController;
  3 import com.sise.itree.model.ControllerRequest;
  4 import com.sise.itree.model.PicModel;
  5 import io.netty.buffer.ByteBuf;
  6 import io.netty.channel.ChannelFutureListener;
  7 import io.netty.channel.ChannelHandlerContext;
  8 import io.netty.channel.SimpleChannelInboundHandler;
  9 import io.netty.handler.codec.http.FullHttpRequest;
 10 import io.netty.handler.codec.http.FullHttpResponse;
 11 import io.netty.handler.codec.http.HttpMethod;
 12 import io.netty.handler.codec.http.HttpResponseStatus;
 13 import io.netty.util.CharsetUtil;
 14 import com.sise.itree.core.handle.StaticFileHandler;
 15 import com.sise.itree.core.handle.response.BaseResponse;
 16 import com.sise.itree.core.handle.response.ResponCoreHandle;
 17 import com.sise.itree.core.invoke.ControllerCglib;
 18 import lombok.extern.slf4j.Slf4j;
 19 
 20 import java.lang.reflect.Method;
 21 import java.util.HashMap;
 22 import java.util.Map;
 23 
 24 import static io.netty.buffer.Unpooled.copiedBuffer;
 25 import static com.sise.itree.core.ParameterHandler.getHeaderData;
 26 import static com.sise.itree.core.handle.ControllerReactor.getClazzFromList;
 27 import static com.sise.itree.core.handle.FilterReactor.aftHandler;
 28 import static com.sise.itree.core.handle.FilterReactor.preHandler;
 29 import static com.sise.itree.util.CommonUtil.*;
 30 
 31 /**
 32  * @author idea
 33  * @data 2019/4/26
 34  */
 35 @Slf4j
 36 public class NettyHttpServerHandler extends SimpleChannelInboundHandler<FullHttpRequest> {
 37 
 38     @Override
 39     protected void channelRead0(ChannelHandlerContext ctx, FullHttpRequest fullHttpRequest) throws Exception {
 40         String uri = getUri(fullHttpRequest.getUri());
 41         Object object = getClazzFromList(uri);
 42         String result = "recive msg";
 43         Object response = null;
 44 
 45         //静态文件处理
 46         response = StaticFileHandler.responseHandle(object, ctx, fullHttpRequest);
 47 
 48         if (!(response instanceof FullHttpResponse) && !(response instanceof PicModel)) {
 49 
 50             //接口处理
 51             if (isContaionInterFace(object, BaseController.class)) {
 52                 ControllerCglib cc = new ControllerCglib();
 53                 Object proxyObj = cc.getTarget(object);
 54                 Method[] methodArr = null;
 55                 Method aimMethod = null;
 56 
 57 
 58                 if (fullHttpRequest.method().equals(HttpMethod.GET)) {
 59                     methodArr = proxyObj.getClass().getMethods();
 60                     aimMethod = getMethodByName(methodArr, "doGet");
 61                 } else if (fullHttpRequest.method().equals(HttpMethod.POST)) {
 62                     methodArr = proxyObj.getClass().getMethods();
 63                     aimMethod = getMethodByName(methodArr, "doPost");
 64                 }
 65 
 66                 //代理执行method
 67                 if (aimMethod != null) {
 68                     ControllerRequest controllerRequest=paramterHandler(fullHttpRequest);
 69                     preHandler(controllerRequest);
 70                     BaseResponse baseResponse = (BaseResponse) aimMethod.invoke(proxyObj, controllerRequest);
 71                     aftHandler(controllerRequest);
 72                     result = JSON.toJSONString(baseResponse);
 73                 }
 74             }
 75             response = ResponCoreHandle.responseHtml(HttpResponseStatus.OK, result);
 76         }
 77         ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE);
 78     }
 79 
 80 
 81     @Override
 82     public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
 83         cause.printStackTrace();
 84     }
 85 
 86 
 87     /**
 88      * 处理请求的参数内容
 89      *
 90      * @param fullHttpRequest
 91      * @return
 92      */
 93     private ControllerRequest paramterHandler(FullHttpRequest fullHttpRequest) {
 94         //参数处理部分内容
 95         Map<String, Object> paramMap = new HashMap<>(60);
 96         if (fullHttpRequest.method() == HttpMethod.GET) {
 97             paramMap = ParameterHandler.getGetParamsFromChannel(fullHttpRequest);
 98         } else if (fullHttpRequest.getMethod() == HttpMethod.POST) {
 99             paramMap = ParameterHandler.getPostParamsFromChannel(fullHttpRequest);
100         }
101         Map<String, String> headers = getHeaderData(fullHttpRequest);
102 
103         ControllerRequest ctr = new ControllerRequest();
104         ctr.setParams(paramMap);
105         ctr.setHeader(headers);
106         return ctr;
107     }
108 
109 
110 }

 

这里面的核心模块我大致分成了：

  • url匹配

  • 从容器获取响应数据

  • 静态文件响应处理

  • 接口请求响应处理四个步骤

url匹配处理：

我们的客户端发送的url请求进入server端之后，需要快速的进行url路径的格式处理。例如将http://localhost:8080/xxx-1/xxx-2?username=test转换为/xxx-1/xxx-2的格式，这样方便和controller顶部设计的注解的url信息进行关键字匹配。

 1 /**
 2      * 截取url里面的路径字段信息
 3      *
 4      * @param uri
 5      * @return
 6      */
 7     public static String getUri(String uri) {
 8         int pathIndex = uri.indexOf("/");
 9         int requestIndex = uri.indexOf("?");
10         String result;
11         if (requestIndex < 0) {
12             result = uri.trim().substring(pathIndex);
13         } else {
14             result = uri.trim().substring(pathIndex, requestIndex);
15         }
16         return result;
17     }

 

从容器获取匹配响应数据：

经过了前一段的url格式处理之后，我们需要根据url的后缀来预先判断是否是数据静态文件的请求：

对于不同后缀格式来返回不同的model对象（每个model对象都是共同的属性url），之所以设计成不同的对象是因为针对不同格式的数据，response的header里面需要设置不同的属性值。

 

 1  /**
 2      * 匹配响应信息
 3      *
 4      * @param uri
 5      * @return
 6      */
 7     public static Object getClazzFromList(String uri) {
 8         if (uri.equals("/") || uri.equalsIgnoreCase("/index")) {
 9             PageModel pageModel;
10             if(ITreeConfig.INDEX_CHANGE){
11                 pageModel= new PageModel();
12                 pageModel.setPagePath(ITreeConfig.INDEX_PAGE);
13             }
14             return new PageModel();
15         }
16         if (uri.endsWith(RequestConstants.HTML_TYPE)) {
17             return new PageModel(uri);
18         }
19         if (uri.endsWith(RequestConstants.JS_TYPE)) {
20             return new JsModel(uri);
21         }
22         if (uri.endsWith(RequestConstants.CSS_TYPE)) {
23             return new CssModel(uri);
24         }
25         if (isPicTypeMatch(uri)) {
26             return new PicModel(uri);
27         }
28 
29         //查看是否是匹配json格式
30         Optional<ControllerMapping> cmOpt = CONTROLLER_LIST.stream().filter((p) -> p.getUrl().equals(uri)).findFirst();
31         if (cmOpt.isPresent()) {
32             String className = cmOpt.get().getClazz();
33             try {
34                 Class clazz = Class.forName(className);
35                 Object object = clazz.newInstance();
36                 return object;
37             } catch (ClassNotFoundException | InstantiationException | IllegalAccessException e) {
38                 LOGGER.error("[MockController] 类加载异常，{}", e);
39             }
40         }
41 
42         //没有匹配到html，js，css，图片资源或者接口路径
43         return null;
44     }

 


手写一套迷你版HTTP服务器


针对静态文件的处理模块，这里面主要是由responseHandle函数处理。


代码如下：

 1  /**
 2      * 静态文件处理器
 3      *
 4      * @param object
 5      * @return
 6      * @throws IOException
 7      */
 8     public static Object responseHandle(Object object, ChannelHandlerContext ctx, FullHttpRequest fullHttpRequest) throws IOException {
 9         String result;
10         FullHttpResponse response = null;
11         //接口的404处理模块
12         if (object == null) {
13             result = CommonUtil.read404Html();
14             return ResponCoreHandle.responseHtml(HttpResponseStatus.OK, result);
15 
16         } else if (object instanceof JsModel) {
17 
18             JsModel jsModel = (JsModel) object;
19             result = CommonUtil.readFileFromResource(jsModel.getUrl());
20             response = notFoundHandler(result);
21             return (response == null) ? ResponCoreHandle.responseJs(HttpResponseStatus.OK, result) : response;
22 
23         } else if (object instanceof CssModel) {
24 
25             CssModel cssModel = (CssModel) object;
26             result = CommonUtil.readFileFromResource(cssModel.getUrl());
27             response = notFoundHandler(result);
28             return (response == null) ? ResponCoreHandle.responseCss(HttpResponseStatus.OK, result) : response;
29 
30         }//初始化页面
31         else if (object instanceof PageModel) {
32 
33             PageModel pageModel = (PageModel) object;
34             if (pageModel.getCode() == RequestConstants.INDEX_CODE) {
35                 result = CommonUtil.readIndexHtml(pageModel.getPagePath());
36             } else {
37                 result = CommonUtil.readFileFromResource(pageModel.getPagePath());
38             }
39 
40             return ResponCoreHandle.responseHtml(HttpResponseStatus.OK, result);
41 
42         } else if (object instanceof PicModel) {
43             PicModel picModel = (PicModel) object;
44             ResponCoreHandle.writePic(picModel.getUrl(), ctx, fullHttpRequest);
45             return picModel;
46         }
47         return null;
48 
49     }

 

对于接口类型的数据请求，主要是在handler里面完成

手写一套迷你版HTTP服务器


代码为：

 1  if (!(response instanceof FullHttpResponse) && !(response instanceof PicModel)) {
 2 
 3             //接口处理
 4             if (isContaionInterFace(object, BaseController.class)) {
 5                 ControllerCglib cc = new ControllerCglib();
 6                 Object proxyObj = cc.getTarget(object);
 7                 Method[] methodArr = null;
 8                 Method aimMethod = null;
 9 
10 
11                 if (fullHttpRequest.method().equals(HttpMethod.GET)) {
12                     methodArr = proxyObj.getClass().getMethods();
13                     aimMethod = getMethodByName(methodArr, "doGet");
14                 } else if (fullHttpRequest.method().equals(HttpMethod.POST)) {
15                     methodArr = proxyObj.getClass().getMethods();
16                     aimMethod = getMethodByName(methodArr, "doPost");
17                 }
18 
19                 //代理执行method
20                 if (aimMethod != null) {
21                     ControllerRequest controllerRequest=paramterHandler(fullHttpRequest);
22                     preHandler(controllerRequest);
23                     BaseResponse baseResponse = (BaseResponse) aimMethod.invoke(proxyObj, controllerRequest);
24                     aftHandler(controllerRequest);
25                     result = JSON.toJSONString(baseResponse);
26                 }
27             }
28             response = ResponCoreHandle.responseHtml(HttpResponseStatus.OK, result);
29         }
30         ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE);
31     }

 

这里面主要是借用了cglib来进行一些相关的代理编写，通过url找到匹配的controller，然后根据请求的类型来执行doget或者dopost功能。而preHandler和afterHandler主要是用于进行相关过滤器的执行操作。这里面用到了责任链的模式来进行编写。

过滤链在程序初始化的时候便有进行相应的扫描和排序操作，核心代码思路如下所示：

 1   /**
 2      * 扫描过滤器
 3      *
 4      * @param path
 5      * @return
 6      */
 7     public static List<FilterModel> scanFilter(String path) throws IllegalAccessException, InstantiationException {
 8         Map<String, Object> result = new HashMap<>(60);
 9         Set<Class<?>> clazz = ClassUtil.getClzFromPkg(path);
10         List<FilterModel> filterModelList = new ArrayList<>();
11         for (Class<?> aClass : clazz) {
12             if (aClass.isAnnotationPresent(Filter.class)) {
13                 Filter filter = aClass.getAnnotation(Filter.class);
14                 FilterModel filterModel = new FilterModel(filter.order(), filter.name(), aClass.newInstance());
15                 filterModelList.add(filterModel);
16             }
17         }
18         FilterModel[] tempArr = new FilterModel[filterModelList.size()];
19         int index = 0;
20         for (FilterModel filterModel : filterModelList) {
21             tempArr[index] = filterModel;
22             System.out.println("[Filter] " + filterModel.toString());
23             index++;
24         }
25         return sortFilterModel(tempArr);
26     }
27 
28     /**
29      * 对加载的filter进行优先级排序
30      *
31      * @return
32      */
33     private static List<FilterModel> sortFilterModel(FilterModel[] filterModels) {
34         for (int i = 0; i < filterModels.length; i++) {
35             int minOrder = filterModels[i].getOrder();
36             int minIndex = i;
37             for (int j = i; j < filterModels.length; j++) {
38                 if (minOrder > filterModels[j].getOrder()) {
39                     minOrder = filterModels[j].getOrder();
40                     minIndex = j;
41                 }
42             }
43             FilterModel temp = filterModels[minIndex];
44             filterModels[minIndex] = filterModels[i];
45             filterModels[i] = temp;
46         }
47         return Arrays.asList(filterModels);
48     }

 

最后附上本框架的码云地址：

https://gitee.com/IdeaHome_admin/ITree

内附对应的源代码，jar包，以及可以让人理解思路的代码注释，喜欢的朋友可以给个star。

 

作者：idea

推荐阅读

1. Java 性能优化：教你提高代码运行的效率

2. Java问题排查工具清单

3. 记住：永远不要在MySQL中使用UTF-8

4. Springboot启动原理解析

 

posted on 2019-05-05 09:42  Java知音号  阅读(1131)  评论(0)  编辑  收藏  举报

导航