流量复制重放工具gor、与diffy结合使用

结合使用示例图：

使用场景：

serverA为线上服务服务1、2、3为测试环境下的不同版本

从线上服务引流到测试环境，通过diffy 判断不同版本下响应结果是否一致判断是否存在BUG

工具具体介绍如下：

gor:

从线上环境复制流量，为测试环境提供数据，可以用于功能、性能测试；

从网上搜了一通，复制流量大概为以下几种方式：1、nginx+lua脚本 2、tcpcopy 3、gor

1的操作较为复杂；

参考：

http://www.crackedzone.com/testing-service-with-nginx-copy-request.html#

2和3整体差不多，感觉还是3简单好用

tcpcopy:https://www.cnblogs.com/yuyijq/p/4541660.html

gor 用GO语音编写的工具，需要root权限启动；Gor 支持流量的放大和缩小、频率限制

相关文档：

https://studygolang.com/articles/10205

http://tyrion.iteye.com/blog/2311987

获取gor版本：https://github.com/buger/goreplay/releases

源码地址：https://github.com/buger/goreplay

官方使用文档：https://github.com/buger/gor/wiki

下载安装包，比如：

wget  https://github.com/buger/goreplay/releases/download/v0.16.0.2/gor_0.16.0_x64.tar.gz

解压缩：

tar -zxvf  gor_0.16.0_x64.tar.gz

解压完之后只有一个可执行文件gor

常用使用方法：

简单的 HTTP 流量复制：
gor –input-raw :80 –output-http “http://staging.com”
HTTP 流量复制频率控制：
gor –input-tcp :28020 –output-http “http://staging.com|10″
HTTP 流量复制缩小：
gor –input-raw :80 –output-tcp “replay.local:28020|10%”
HTTP 流量记录到本地文件：
gor –input-raw :80 –output-file requests.gor
HTTP 流量回放和压测：
gor –input-file “requests.gor|200%” –output-http “staging.com”
HTTP 流量过滤复制：
gor –input-raw :8080 –output-http staging.com –output-http-url-regexp ^www.

配置详细说明

     -cpuprofile string  
          write cpu profile to file  
    -debug verbose  
          打开debug模式，显示所有接口的流量   
    -http-allow-header value  
          用一个正则表达式来匹配http头部，如果请求的头部没有匹配上，则被拒绝   
           gor --input-raw :8080 --output-http staging.com --http-allow-header api-version:^v1 (default [])  
    -http-allow-method value  
          类似于一个白名单机制来允许通过的http请求方法，除此之外的方法都被拒绝.  
          gor --input-raw :8080 --output-http staging.com --http-allow-method GET --http-allow-method OPTIONS (default [])  
    -http-allow-url value  
          一个正则表达式用来匹配url， 用来过滤完全匹配的的url，在此之外的都被过滤掉   
           gor --input-raw :8080 --output-http staging.com --http-allow-url ^www. (default [])  
    -http-disallow-header value  
          用一个正则表达式来匹配http头部，匹配到的请求会被拒绝掉  
           gor --input-raw :8080 --output-http staging.com --http-disallow-header "User-Agent: Replayed by Gor" (default [])  
    -http-disallow-url value  
          用一个正则表达式来匹配url，如果请求匹配上了，则会被拒绝  
           gor --input-raw :8080 --output-http staging.com --http-disallow-url ^www. (default [])  
    -http-header-limiter value  
          读取请求，基于FNV32-1A散列来拒绝一定比例的特殊请求   
           gor --input-raw :8080 --output-http staging.com --http-header-imiter user-id:25% (default [])  
    -http-original-host  
          在--output-http的输出中，通常gor会使用取代请求的http头，所以应该禁用该选项，保留原始的主机头  
    -http-param-limiter value  
          Takes a fraction of requests, consistently taking or rejecting a request based on the FNV32-1A hash of a specific GET param:  
           gor --input-raw :8080 --output-http staging.com --http-param-limiter user_id:25% (default [])  
    -http-rewrite-url value  
          Rewrite the request url based on a mapping:  
          gor --input-raw :8080 --output-http staging.com --http-rewrite-url /v1/user/([^\/]+)/ping:/v2/user/$1/ping (default [])  
    -http-set-header value  
          Inject additional headers to http reqest:  
          gor --input-raw :8080 --output-http staging.com --http-set-header 'User-Agent: Gor' (default [])  
    -http-set-param value  
          Set request url param, if param already exists it will be overwritten:  
          gor --input-raw :8080 --output-http staging.com --http-set-param api_key=1 (default [])  
    -input-dummy value  
          Used for testing outputs. Emits 'Get /' request every 1s (default [])  
    -input-file value  
          从一个文件中读取请求  
          gor --input-file ./requests.gor --output-http staging.com (default [])  
    -input-http value  
          从一个http接口读取请求  
          # Listen for http on 9000  
          gor --input-http :9000 --output-http staging.com (default [])  
    -input-raw value  
          Capture traffic from given port (use RAW sockets and require *sudo* access):  
          # Capture traffic from 8080 port  
          gor --input-raw :8080 --output-http staging.com (default [])  
    -input-tcp value  
         用来在多个gor之间流转流量  
          # Receive requests from other Gor instances on 28020 port, and redirect output to staging  
          gor --input-tcp :28020 --output-http staging.com (default [])  
    -memprofile string  
          write memory profile to this file  
    -middleware string  
          Used for modifying traffic using external command  
    -output-dummy value  
          用来测试输入，打印出接收的数据. (default [])  
    -output-file value  
          把进入的请求写入一个文件中  
          gor --input-raw :80 --output-file ./requests.gor (default [])  
    -output-http value  
          转发进入的请求到一个http地址上  
          # Redirect all incoming requests to staging.com address   
          gor --input-raw :80 --output-http http://staging.com (default [])  
    -output-http-elasticsearch string  
          把请求和响应状态发送到ElasticSearch:  
          gor --input-raw :8080 --output-http staging.com --output-http-elasticsearch 'es_host:api_port/index_name'  
    -output-http-redirects int  
          设置多少次重定向被允许  
    -output-http-stats  
          每5秒钟输出一次输出队列的状态   
    -output-http-timeout duration  
         指定http的request/response超时时间，默认是5秒  
    -output-http-workers int  
          gor默认是动态的扩展工作者数量，你也可以指定固定数量的工作者  
    -output-tcp value  
          用来在多个gor之间流转流量  
          # Listen for requests on 80 port and forward them to other Gor instance on 28020 port  
          gor --input-raw :80 --output-tcp replay.local:28020 (default [])  
    -output-tcp-stats  
          每5秒钟报告一次tcp输出队列的状态  
    -split-output true  
          By default each output gets same traffic. If set to true it splits traffic equally among all outputs.  
    -stats  
          打开输出队列的状态  
    -verbose  
          Turn on more verbose output

diffy:

diffy源码地址：https://github.com/twitter/diffy

使用场景：存在至少两套环境，比如线上、测试环境

使用方法：

使用gor 从线上环境获取流量数据可直接重放到 diffy的代理端口上，进而分发到不同版本的环境中并对结果做diff

serverA 提供原始数据，或者是模板数据

serverB、C、D ，为不同版本下的环境，接收模板数据，并对响应结果做diff

diffy使用过程：

在虚拟机使用docker执行，如下：

docker pull diffy/diffy


docker run -ti -p 7880:7880 -p 7881:7881 -7888:7888 diffy/diffy -candidate='10.99.203.109:8000' -master.primary='10.99.203.109:8100' -master.secondary='10.99.203.109:8200' -service.protocol='http' -serviceName='Test-Service' -proxy.port=:7880 -admin.port=:7881 -http.port=:7888 -rootUrl='localhost:7888'  -allowHttpSideEffects=true
 
其中：
7880为代理端口；
7881为diffy web页面
7888为diffy结果页面
服务地址：10.99.203.109；不同端口 代表不同版本的服务