HTTP源地址获取规范

1. 代理和获取规范

   • 原则

     1. F5第一层代理，Nginx作为第二层代理，最终到web应用，如示例：F5->Nginx->Web
     2. 第一层代理需要把源IP设置到X-Real-IP，二级代理需把一级代理地址写入X-Forwarded-For

   • 名词解释

     1. X-Real-IP: 自定义请求头中字段
     2. X-Forwarded-For：一个 HTTP 扩展头部，各大 HTTP 代理、负载均衡等转发服务广泛使用，并被写入 RFC 7239（Forwarded HTTP Extension）标准之中

   • 定义规范的背景

     1. X-Real-IP和X-Forwarded-For都可以被客户端随意伪造，但是自定义X-Real-IP只能存在一个值，X-Forwarded-For字段可以存在多个以逗号分割，代理服务器只能追加，不能确定源IP地址写入的具体顺序
     2. Remote Address 无法伪造，因为建立 TCP 连接需要三次握手，如果伪造了源 IP，无法建立 TCP 连接，更不会有后面的 HTTP 请求
     3. 基于以上2点，需要一级代理服务器把源IP写入X-Real-IP，各级代理需把上级代理地址写入X-Forwarded-For中，追踪代理调用链

   • F5地址转换规范

     1. 在F5配置界面中，把源 IP写入参数： X-Real-IP

   • Nginx地址转换配置模板：

     Nginx配置

     server {

            # 监听端口

            listen        7777;

            server_name   localhost;

            charset           utf-8;

            location /{

                # 转发地址

                proxy_pass  http://10.19.205.58:7777;

                proxy_set_header Host $host;

                # 只有一层代理时候开启，源地址放入X-Real-Ip

                # proxy_set_header X-Real-IP $remote_addr;

                # Nginx作为代理必须开启,源地址和代理服务器代理地址放入X-Forwarded-For字段

                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

            }

        }

   • java代码获取源地址

     public String getRealIp(HttpServletRequest request){

             // 1. 获取真实地址

             String realIp = request.getHeader("X-Real-IP");

             // 2. 非正常地址或者异常调用

             if (isIlegalHost(realIp)) {

                 // 2.1 获取X-Forwarded-For地址组

                 String forwardIps= request.getHeader("X-Forwarded-For");

                 if(forwardIps != null){

                     String[] forwardIpArray =  forwardIps.split(",");

                     // 2.2 循环X-Forwarded-For 的地址,返回第一个正常的地址

                     for(String forwardIp : forwardIpArray){

                         if(!isIlegalHost(forwardIp)){

                             return forwardIp;

                         }

                     }

                 }

                 //2.3 X-Forwarded-For不存在正常地址，则取远程地址

                 realIp = request.getRemoteAddr();

                 // 防止Nginx和web同一台无法获取地址

                 if ("127.0.0.1".equals(realIp)) {

                     try {

                         // 2.4 如果是本机，则尝试获取网卡配置的IP

                         realIp = InetAddress.getLocalHost().getHostAddress();

                     } catch (UnknownHostException e) {}

                 }

             }

             return realIp;

         }

      

         public boolean isIlegalHost(String ip){

             if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {

                 return true;

             }

             return false;

         }

2.场景分析

1. 1. 场景一：Nginx->Web；F5->Web

      1. F5只需界面操作，配置源地址写入：X-Real-IP

      2. Nginx配置

         server {

             # 监听端口

             listen        7777;

             server_name   localhost;

             charset           utf-8;

             location /{

                 # 转发地址

                 proxy_pass  http://10.19.205.58:7777;

                 proxy_set_header Host $host;

                 # 源地址放入X-Real-Ip

                 proxy_set_header X-Real-IP $remote_addr;

                 # 调用地址增加到X-Forwarded-For字段

                 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

             }

         }

      3. 实例结果：

         # 访问路径：http://10.19.205.60:7777/express

         # 客户端地址：10.20.23.50

         # Nginx地址：10.19.205.60

         # web应用地址： 10.19.205.58

         # 代码：request.getRemoteAddr()+"|"+request.getHeader("X-Real-IP")+"|" + request.getHeader("X-Forwarded-For")+"|"+getRealIp();

         # 返回结果：Remote Addr:10.19.205.60

                     X-Real-IP:10.20.23.50

                     X-Forwarded-For:10.20.23.50

                     getRealIp():10.20.23.50
      4. 异常情况分析

         1. 异常情况：直接调用web地址，解决方法：java示例代码行注释2
             

            # 返回结果：Remote Addr:10.20.23.50

                        X-Real-IP:null

                        X-Forwarded-For:null

                        getRealIp():10.20.23.50

             

   2. 场景二：F5->Nginx->Web

      1. F5只需界面操作，配置源地址写入：X-Real-IP

      2. Nginx配置：
         server {

             # 监听端口

             listen        7777;

             server_name   localhost;

             charset           utf-8;

             location /{

                 # 转发web应用地址

                 proxy_pass  http://10.19.205.58:7777;

                 proxy_set_header Host $host;

                 # F5调用地址增加到X-Forwarded-For字段

                 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

             }

         }

         
         
         

      3. 实例结果：
         # 访问路径：http://10.19.18.51:7777/express

         # 客户端地址：10.20.23.50

         # F5虚拟地址：10.19.18.51

         # Nginx地址：10.19.205.59

         # web应用地址： 10.19.205.58

         # 代码：request.getRemoteAddr()+"|"+request.getHeader("X-Real-IP")+"|" + request.getHeader("X-Forwarded-For")+"|"+getRealIp();

         # 返回结果：Remote Addr:10.19.205.59

                     X-Real-IP:10.20.23.50

                     X-Forwarded-For:10.19.18.254（F5实际地址）

                     getRealIp():10.20.23.50
      4. 异常情况分析

         1. 异常情况一：直接调用nginx地址，解决方案：java示例代码行注释2

            # 返回结果：Remote Addr:10.19.205.59

                        X-Real-IP:null

                        X-Forwarded-For:10.20.23.50

                        getRealIp():10.20.23.50

         2. 异常情况二：直接调用web地址，解决方法：java示例代码行注释2.3

            # 返回结果：Remote Addr:10.20.23.50

                        X-Real-IP:null

                        X-Forwarded-For:null

                        getRealIp():10.20.23.50

   3. Nginx->Nginx->Web

      1. 第一层 Nginx配置：

         server {

          # 监听端口

          listen        7777;

          server_name   localhost;

          charset           utf-8;

          location /{

              # 转发web应用地址

              proxy_pass  http://10.19.205.58:7777;

              proxy_set_header Host $host;

              # 源地址放入X-Real-Ip

              proxy_set_header X-Real-IP $remote_addr;

              # 调用地址增加到X-Forwarded-For字段

              proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

          }

      2. 第二层 Nginx配置：

         server {

             # 监听端口

             listen        7777;

             server_name   localhost;

             charset           utf-8;

             location /{

                 # 转发web应用地址

                 proxy_pass  http://10.19.205.58:7777;

                 proxy_set_header Host $host;

                 # 第一层调用地址增加到X-Forwarded-For字段

                 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

             }

         }

          

      3. 实例结果：

         # 访问路径：http://10.19.205.69:7777/express

         # 客户端地址：10.20.23.50

         # 第一层Nginx地址：10.19.205.69

         # 第二层Nginx地址：10.19.205.59

         # web应用地址： 10.19.205.58

         # 代码：request.getRemoteAddr()+"|"+request.getHeader("X-Real-IP")+"|" + request.getHeader("X-Forwarded-For")+"|"+getRealIp();

         # 返回结果：Remote Addr:10.19.205.59

                     X-Real-IP:10.20.23.50

                     X-Forwarded-For:10.20.23.50, 10.19.205.69

                     getRealIp():10.20.23.50

         
          

      4. 异常情况分析

         1. 异常情况一：直接调用第二层nginx地址，解决方案：java示例代码行注释2

            # 返回结果：Remote Addr:10.19.205.59

                        X-Real-IP:null

                        X-Forwarded-For:10.20.23.50

                        getRealIp():10.20.23.50

         2. 异常情况二：直接调用web地址，解决方法：java示例代码行注释2.3

            # 返回结果：Remote Addr:10.20.23.50

                        X-Real-IP:null

                        X-Forwarded-For:null

                        getRealIp():10.20.23.50