Sentinel熔断降级

  Sentinel除了流量控制以外,对调用链路中不稳定的资源进行熔断降级也是保障高可用的重要措施之一。由于调用关系的复杂性,如果调用链路中的某个资源不稳定,最终会导致请求发生堆积。Sentinel 熔断降级会在调用链路中某个资源出现不稳定状态时(例如调用超时或异常比例升高),对这个资源的调用进行限制,让请求快速失败,避免影响到其它的资源而导致级联错误。当资源被降级后,在接下来的降级时间窗口之内,对该资源的调用都自动熔断(默认行为是抛出 DegradeException)。

降级策略

  通常用以下几种方式来衡量资源是否处于稳定的状态:

  • 平均响应时间 (DEGRADE_GRADE_RT):当 1s 内持续进入 N 个请求,对应时刻的平均响应时间(秒级)均超过阈值(count,以 ms 为单位),那么在接下的时间窗口(DegradeRule 中的 timeWindow,以 s 为单位)之内,对这个方法的调用都会自动地熔断(抛出 DegradeException)。注意 Sentinel 默认统计的 RT 上限是 4900 ms,超出此阈值的都会算作 4900 ms,若需要变更此上限可以通过启动配置项 -Dcsp.sentinel.statistic.max.rt=xxx 来配置。
  • 异常比例 (DEGRADE_GRADE_EXCEPTION_RATIO):当资源的每秒请求量 >= N(可配置),并且每秒异常总数占通过量的比值超过阈值(DegradeRule 中的 count)之后,资源进入降级状态,即在接下的时间窗口(DegradeRule 中的 timeWindow,以 s 为单位)之内,对这个方法的调用都会自动地返回。异常比率的阈值范围是 [0.0, 1.0],代表 0% - 100%。
  • 异常数 (DEGRADE_GRADE_EXCEPTION_COUNT):当资源近 1 分钟的异常数目超过阈值之后会进行熔断。注意由于统计时间窗口是分钟级别的,若 timeWindow 小于 60s,则结束熔断状态后仍可能再进入熔断状态。

示例

  示例代码搭建参考:Spring Cloud Alibaba 之 Sentinel哨兵介绍入门(二十九) 

平均响应时间

  1、编辑项目Controller中的代码,增加方法testD

复制代码
1 @GetMapping("/testD")
2 public String testD(){
3     try {
4         Thread.sleep(800);
5     } catch (InterruptedException e) {
6         e.printStackTrace();
7     }
8     return "--------testD";
9 }
复制代码

  2、在Sentinel控制台,增加降级规则

    

  3、降级规则,设置testD的平均响应时长为200毫秒,时间窗口为1s,如下:

    

  4、测试

    1)启动项目(启动项目-访问testD-设置规则-测试)

    2)访问地址:http://localhost:8401/testD,正常访问

    3)使用JMeter 1s内并发10个请求到地址,循环执行,http://localhost:8401/testD

    4)使用浏览器访问,http://localhost:8401/testD,服务被熔断

      

异常比例

  1、编辑项目Controller中的代码,修改方法testD,使testD方法每次请求都异常

@GetMapping("/testD")
public String testD(){
    int n = 10/0;
    return "--------testD";
}

  2、降级规则,设置testD的异常比例为0.2,时间窗口为1s,如下:

    

  3、测试

    1)启动项目(启动项目-访问testD-设置规则-测试)

    2)访问地址:http://localhost:8401/testD,出现异常界面Error Page

      

    3)使用JMeter 1s内并发10个请求到地址,循环执行,http://localhost:8401/testD

    4)使用浏览器访问,http://localhost:8401/testD,服务被熔断

异常数

  1、编辑项目Controller中的代码,修改方法testD,使testD方法每次请求都异常

1 @GetMapping("/testD")
2 public String testD(){
3     int n = 10/0;
4     return "--------testD";
5 }

  2、降级规则,设置testD的异常数为5,时间窗口为70s,如下:

    

  3、测试

    1)启动项目(启动项目-访问testD-设置规则-测试)

    2)访问地址:http://localhost:8401/testD,出现异常界面Error Page

    3)使用JMeter 1s内并发10个请求到地址,循环执行,http://localhost:8401/testD

    4)使用浏览器访问,http://localhost:8401/testD,服务被熔断

    5)停止JMeter,70秒后,访问地址:http://localhost:8401/testD,出现异常界面Error Page

Sentinel热点参数限流

  何为热点?热点即经常访问的数据。很多时候我们希望统计某个热点数据中访问频次最高的 Top K 数据,并对其访问进行限制。比如:

  • 商品 ID 为参数,统计一段时间内最常购买的商品 ID 并进行限制
  • 用户 ID 为参数,针对一段时间内频繁访问的用户 ID 进行限制

  热点参数限流会统计传入参数中的热点参数,并根据配置的限流阈值与模式,对包含热点参数的资源调用进行限流。热点参数限流可以看做是一种特殊的流量控制,仅对包含热点参数的资源调用生效。

  Sentinel 利用 LRU 策略统计最近最常访问的热点参数,结合令牌桶算法来进行参数级别的流控。热点参数限流支持集群模式。

热点参数限流DEMO

  1、编辑项目Controller中的代码,增加方法testHotKey

复制代码
 1 @GetMapping("/testHotKey")
 2 // 定义资源名称及处理方法
 3 @SentinelResource(value = "testHotKey", blockHandler = "deal_testHotKey")
 4 public String testHotKey(@RequestParam(value = "p1", required = false) String p1,
 5                          @RequestParam(value = "p2", required = false)  String p2){
 6     System.out.println(Thread.currentThread().getName() + "--------testHotKey");
 7     return "--------testHotKey";
 8 }
 9 
10 public String deal_testHotKey(String p1, String p2, BlockException excetion){
11     System.out.println(Thread.currentThread().getName() + "--------deal_testHotKey");
12     return "--------deal_testHotKey";
13 }
复制代码

  2、在Sentinel控制台,热点规则,设置对第一个参数的请求阀值为1

    

  3、测试

    1)启动项目(启动项目-访问-设置规则-测试)

    2)访问地址:http://localhost:8401/testHotKey?p1=1,正常响应

         访问地址:http://localhost:8401/testHotKey?p2=1,正常响应

    3)高频(快速刷新界面)访问地址:http://localhost:8401/testHotKey?p1=1,被限流

      

        高频(快速刷新界面)访问地址:http://localhost:8401/testHotKey?p2=1,正常响应

      

热点参数限流-

  1、沿用上面代码示例

  2、编辑热点规则,设置对第一个参数的请求阀值为1,且设置参数例外项,但参数值为5的时候,阀值为200

    

  3、测试

    1)启动项目(启动项目-访问-设置规则-测试)

    2)访问地址:http://localhost:8401/testHotKey?p1=1,正常响应

         访问地址:http://localhost:8401/testHotKey?p1=5,正常响应

    3)高频(快速刷新界面)访问地址:http://localhost:8401/testHotKey?p1=1,被限流

       高频(快速刷新界面,未超过没秒200次请求)访问地址:http://localhost:8401/testHotKey?p1=5,正常响应

Sentinel系统自适应限流

  Sentinel 系统自适应限流从整体维度对应用入口流量进行控制,结合应用的 Load、CPU 使用率、总体平均 RT、入口 QPS 和并发线程数等几个维度的监控指标,通过自适应的流控策略,让系统的入口流量和系统的负载达到一个平衡,让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。

系统规则

  系统保护规则是从应用级别的入口流量进行控制,从单台机器的 load、CPU 使用率、平均 RT、入口 QPS 和并发线程数等几个维度监控应用指标,让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。

  系统保护规则是应用整体维度的,而不是资源维度的,并且仅对入口流量生效。入口流量指的是进入应用的流量(EntryType.IN),比如 Web 服务或 Dubbo 服务端接收的请求,都属于入口流量。

  系统规则支持以下的模式:

  • Load 自适应(仅对 Linux/Unix-like 机器生效):系统的 load1 作为启发指标,进行自适应系统保护。当系统 load1 超过设定的启发值,且系统当前的并发线程数超过估算的系统容量时才会触发系统保护(BBR 阶段)。系统容量由系统的 maxQps * minRt 估算得出。设定参考值一般是 CPU cores * 2.5
  • CPU usage(1.5.0+ 版本):当系统 CPU 使用率超过阈值即触发系统保护(取值范围 0.0-1.0),比较灵敏。
  • 平均 RT:当单台机器上所有入口流量的平均 RT 达到阈值即触发系统保护,单位是毫秒。
  • 并发线程数:当单台机器上所有入口流量的并发线程数达到阈值即触发系统保护。
  • 入口 QPS:当单台机器上所有入口流量的 QPS 达到阈值即触发系统保护。

入口 QPS系统规则示例

  1、编辑项目Controller中的代码,增加方法testE

1 @GetMapping("/testE")
2 public String testE(){
3     System.out.println(Thread.currentThread().getName() + "--------testE");
4     return "--------testE";
5 }

  2、新增系统规则,设置阀值类型为入口QPS,阀值为1

    

  3、测试

    1)启动项目(启动项目-访问-设置规则-测试)

    2)访问地址:http://localhost:8401/testE,正常访问

    3)高频(快速刷新界面)访问地址:http://localhost:8401/testE,被限流,说明系统规则已生效