SpringCloud01
SpringCloud01
何为SpringCloud?
分布式微服务架构的一站式解决方案,多种微服务架构落地技术的集合
微服务架构编码
约定 > 配置 > 编码
0.开始
- 创建父工程 --- 聚合----maven----maven版本
- 设置字符编码UTF-8---setting里FileEncodings
- 注解激活、java编译版本8、过滤FileType
父工程pom:
- pom打包
- 引入依赖 --- 版本统一管理 ---- dependencyManagement指定版本号properties
maven跳过单元测试
构建Rest微服务工程 ---- 支付模块
1.建立模块 --- 引入依赖pom
2.配置yml
3.主启动main方法 ---- @SpringBootApplication
4.业务类
- 建表
- 实体entities
- dao ---- 接口类@Mapper ----- xml
- service ---- 实现类@Service ---- xxxDao @Resource
- controller --- @RestController --- xxxService @Resource
5.测试
- postman --- post
- 运行
热部署
消费者订单模块
RestTemplate提供了多种便捷访问远程Http服务的方法,是一种简单便捷的访问restful服务模板类,是Spring提供的用于访问Rest服务的客户端模板工具集
工程重构
cloud-api-common模块
1.Eureka服务注册与发现
1.1 基础知识
服务治理
- 传统的rpc远程调用框架管理服务于服务之间依赖关系,可以实现服务调用、负载均衡、容错等,实现服务发现与注册。
服务注册
- Eureka采用了CS的设计架构,Eureka Server 作为服务注册功能的服务器,它是服务注册中心。而系统中的其他微服务,使用 Eureka的客户端连接到 Eureka Server并维持心跳连接。
- 注册中心存放服务地址相关信息
Eureka组件
- Eureka Server提供服务注册服务,存储所有可用服务节点的信息
- EurekaClient通过注册中心进行访问 --- 具有负载均衡器 --- 心跳周期
1.2 单机Eureka
Server端
- POM
<!--eureka-server-->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-eureka-server</artifactId>
</dependency>
- YML
eureka:
instance:
hostname: localhost #eureka服务端的实例名称
client:
register-with-eureka: false #false表示不向注册中心注册自己。
fetch-registry: false #false表示自己端就是注册中心,我的职责就是维护服务实例,并不需要去检索服务
service-url:
#单机就是7001自己
defaultZone: http://${eureka.instance.hostname}:${server.port}/eureka/
- 主启动 @EnableEurekaServer
Client端
- POM
<!--eureka-client-->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
</dependency>
- YML
eureka:
client:
#表示是否将自己注册进EurekaServer默认为true。
register-with-eureka: true
#是否从EurekaServer抓取已有的注册信息,默认为true。单节点无所谓,集群必须设置为true才能配合ribbon使用负载均衡
fetchRegistry: true
service-url:
#单机版
defaultZone: http://localhost:7001/eureka
- 主启动 @EnableEurekaClient
1.3 集群
搭建Eureka注册中心集群 ,实现负载均衡+故障容错
Server
- 新建模块 ---- POM ---- 修改映射配置
- C:\Windows\System32\drivers\etc\hosts 添加
- YML 相互注册 相互指向
#集群指向其它eureka
#当前为7002模块,指向7001模块
#7001模块也指向7002模块
defaultZone: http://eureka7001.com:7001/eureka/
Client
- YML文件
# 集群
defaultZone: http://eureka7001.com:7001/eureka,
http://eureka7002.com:7002/eureka
服务提供者集群
- 新建 ---- POM ---- YML
eureka:
instance:
instance-id: payment8002
#访问路径可以显示IP地址
prefer-ip-address: true
- 主启动 ---- 业务 ---- Controller
负载均衡
- 服务访问 --- 对应服务名称
public static final String PAYMENT_URL = "http://CLOUD-PAYMENT-SERVICE";
- @LoadBalanced 赋予RestTemplate负载均衡
- ApplicationContextBean
- Ribbon和Eureka整合后Consumer可以直接调用服务而不用再关心地址和端口号,且该服务还有负载功能了。
1.4 actuator
主机名称 显示IP
eureka:
instance:
instance-id: payment8001
prefer-ip-address: true #访问路径可以显示IP地址
1.5 服务发现
对于注册进eureka里面的微服务,可以通过服务发现来获得该服务的信息
@Resource
private DiscoveryClient discoveryClient;
主启动 @EnableDiscoveryClient
1.6 自我保护
保护模式主要用于一组客户端和Eureka Server之间存在网络分区场景下的保护。
一旦进入保护模式,Eureka Server将会尝试保护其服务注册表中的信息,不再删除服务注册表中的数据,也就是不会注销任何微服务。
禁止自我保护
server端:
eureka:
server:
#关闭自我保护机制,保证不可用服务被及时踢除
enable-self-preservation: false
eviction-interval-timer-in-ms: 2000
client端:
eureka:
instance:
#Eureka客户端向服务端发送心跳的时间间隔,单位为秒(默认是30秒)
lease-renewal-interval-in-seconds: 1
#Eureka服务端在收到最后一次心跳后等待时间上限,单位为秒(默认是90秒),超时将剔除服务
lease-expiration-duration-in-seconds: 2
2.Zookeeper服务注册与发现
zookeeper是一个分布式协调工具,可以实现注册中心功能
zookeeper服务器取代Eureka服务器,zk作为服务注册中心
服务提供
POM --- YML
#服务别名----注册zookeeper到注册中心名称
spring:
application:
name: cloud-provider-payment
cloud:
zookeeper:
connect-string: 192.168.102.128:2181
@SpringBootApplication
@EnableDiscoveryClient //向使用consul或zookeeper作为注册中心时注册服务
服务消费
POM --- YML ---- RestTemplate ---- Controller
3.Consul服务注册与发现
Consul 是一套开源的分布式服务发现和配置管理系统,由 HashiCorp 公司用 Go 语言开发。提供了微服务系统中的服务治理、配置中心、控制总线等功能。这些功能中的每一个都可以根据需要单独使用,也可以一起使用以构建全方位的服务网格,总之Consul提供了一种完整的服务网格解决方案。
consul agent -dev 运行
通过以下地址可以访问Consul的首页:http://localhost:8500
3.1 服务提供
模块 --- POM ---- YML
spring:
application:
name: consul-provider-payment
#consul注册中心地址
cloud:
consul:
host: localhost
port: 8500
discovery:
#hostname: 127.0.0.1
service-name: ${spring.application.name}
主启动 @EnableDiscoveryClient ---- 业务类 ---- 测试
3.2 服务消费
模块 --- POM ----YML --- 主启动 ---- 配置Bean --- RestTemplate
3.3 比较
CAP
- C:Consistency(强一致性)
- A:Availability(可用性)
- P:Partition tolerance(分区容错性)
Eureka:AP架构
- 当网络分区出现后,为了保证可用性,系统B可以返回旧值,保证系统的可用性。
- 结论:违背了一致性C的要求,只满足可用性和分区容错,即AP
Zookeeper / Consul:CP架构
- 当网络分区出现后,为了保证一致性,就必须拒接请求,否则无法保证一致性。
- 结论:违背了可用性A的要求,只满足一致性和分区容错,即CP
4.Ribbon负载均衡服务调用
Spring Cloud Ribbon是基于Netflix Ribbon实现的一套客户端负载均衡的工具。
提供客户端的软件负载均衡算法和服务调用。
4.1 概述
负载均衡LB --- 将用户的请求平摊的分配到多个服务上,从而达到系统的HA(高可用)
- Nginx是服务器负载均衡,客户端所有请求都会交给nginx,然后由nginx实现转发请求。即负载均衡是由服务端实现的。
- Ribbon本地负载均衡,在调用微服务接口时候,会在注册中心上获取注册信息服务列表之后缓存到JVM本地,从而在本地实现RPC远程服务调用技术。
集中式LB
- 在服务的消费方和提供方之间使用独立的LB设施负责把访问请求通过某种策略转发至服务的提供方
进程内LB
- 将LB逻辑集成到消费方,消费方从服务注册中心获知有哪些地址可用,然后自己再从这些地址中选择出一个合适的服务器。
- Ribbon就属于进程内LB,它只是一个类库,集成于消费方进程,消费方通过它来获取到服务提供方的地址。
4.2 负载均衡
Ribbon --- 客户端组件
- 第一步先选择 EurekaServer ,它优先选择在同一个区域内负载较少的server。
- 第二步再根据用户指定的策略,在从server取到的服务注册列表中选择一个地址。
- 其中Ribbon提供了多种策略:比如轮询、随机和根据响应时间加权。
spring-cloud-starter-netflix-eureka-client自带了spring-cloud-starter-ribbon引用
RestTemplate
getForObject/getForEntity
- 返回对象为响应体中数据转化成的对象,基本上可以理解为Json
- 返回对象为ResponseEntity对象,包含了响应中的一些重要信息,比如响应头、响应状态码、响应体等
postForObject/postForEntity
GET/POST请求方法
4.3 核心组件IRule
IRule接口:根据特定算法中从服务列表中选取一个要访问的服务
- com.netflix.loadbalancer.RoundRobinRule 轮询
- com.netflix.loadbalancer.RandomRule 随机
- com.netflix.loadbalancer.RetryRule 先按照RoundRobinRule的策略获取服务,如果获取服务失败则在指定时间内会进行重试,获取可用的服务
- WeightedResponseTimeRule 对RoundRobinRule的扩展,响应速度越快的实例选择权重越大,越容易被选择
- BestAvailableRule 会先过滤掉由于多次访问故障而处于断路器跳闸状态的服务,然后选择一个并发量最小的服务
- AvailabilityFilteringRule 先过滤掉故障实例,再选择并发较小的实例
- ZoneAvoidanceRule 默认规则,复合判断server所在区域的性能和server的可用性选择服务器
替换
自定义配置类不能放在@ComponentScan所扫描的当前包下以及子包下,否则我们自定义的这个配置类就会被所有的Ribbon客户端所共享,达不到特殊化定制的目的了。
自定义配置
@Configuration
public class MySelfRule {
@Bean
public IRule myRule(){
//定义为随机
return new RandomRule();
}
}
主启动 @RibbonClient(name = "CLOUD-PAYMENT-SERVICE",configuration=MySelfRule.class)
4.4 负载均衡算法
负载均衡算法:
- rest接口第几次请求数 % 服务器集群总数量 = 实际调用服务器位置下标
- 每次服务重启动后rest接口计数从1开始
5.OpenFeign服务接口调用
5.1 概述
Feign是一个声明式的Web服务客户端,让编写Web服务客户端变得非常容易,只需创建一个接口并在接口上添加注解即可。
Spring Cloud对Feign进行了封装,使其支持了Spring MVC标准注解和HttpMessageConverters。
Feign可以与Eureka和Ribbon组合使用以支持负载均衡
Feign集成了Ribbon,利用Ribbon维护服务列表信息,并且通过轮询实现了客户端的负载均衡。而与Ribbon不同的是,通过feign只需要定义服务绑定接口且以声明式的方法。
OpenFeign是Spring Cloud 在Feign的基础上支持了SpringMVC的注解,并通过动态代理的方式产生实现类,实现类中做负载均衡并调用其他服务
5.2 服务调用
微服务调用接口+@FeignClient
Feign在消费端使用
模块 --- POM --- YML
#设置feign客户端超时时间(OpenFeign默认支持ribbon)
ribbon:
#指的是建立连接所用的时间,适用于网络状况正常的情况下,两端连接所用的时间
ReadTimeout: 5000
#指的是建立连接后从服务器读取到可用资源所用的时间
ConnectTimeout: 5000
主启动 @EnableFeignClients
业务类 接口+注解 @FeignClient(value = "CLOUD-PAYMENT-SERVICE")
控制层 调用接口
Feign自带负载均衡配置项
5.3 OpenFeign超时控制
OpenFeign默认等待1秒钟,超过后报错
有时候我们需要设置Feign客户端的超时控制-----OpenFeign默认支持Ribbon
yml文件中开启配置
ribbon:
#指的是建立连接所用的时间,适用于网络状况正常的情况下,两端连接所用的时间
ReadTimeout: 5000
#指的是建立连接后从服务器读取到可用资源所用的时间
ConnectTimeout: 5000
5.4 OpenFeign日志
Feign 提供了日志打印功能,我们可以通过配置来调整日志级别,从而了解 Feign 中 Http 请求的细节。
级别:
- NONE:默认的,不显示任何日志;
- BASIC:仅记录请求方法、URL、响应状态码及执行时间;
- HEADERS:除了 BASIC 中定义的信息之外,还有请求和响应的头信息;
- FULL:除了 HEADERS 中定义的信息之外,还有请求和响应的正文及元数据。
配置日志bean
@Configuration
public class FeignConfig {
@Bean
Logger.Level feignLoggerLevel(){
return Logger.Level.FULL;
}
}
YML文件里需要开启日志的Feign客户端
logging:
level:
# feign日志以什么级别监控哪个接口
com.atguigu.springcloud.service.PaymentFeignService: debug
6.Hystrix断路器
6.1 概述
复杂分布式体系结构中的应用程序有数十个依赖关系,每个依赖关系在某些时候将不可避免地失败。
服务雪崩:多个微服务之间调用,如果扇出的链路上某个微服务的调用响应时间过长或者不可用,对微服务A的调用就会占用越来越多的系统资源,进而引起系统崩溃。
Hystrix是一个用于处理分布式系统的延迟和容错的开源库,在分布式系统里,许多依赖不可避免的会调用失败,比如超时、异常等,Hystrix能够保证在一个依赖出问题的情况下,不会导致整体服务失败,避免级联故障,以提高分布式系统的弹性。
当某个服务单元发生故障之后,通过断路器的故障监控(类似熔断保险丝),向调用方返回一个符合预期的、可处理的备选响应(FallBack),而不是长时间的等待或者抛出调用方无法处理的异常,这样就保证了服务调用方的线程不会被长时间、不必要地占用,从而避免了故障在分布式系统中的蔓延,乃至雪崩。
服务降级 服务熔断 接近实时的监控
6.2 重要概念
服务降级
服务器忙,请稍后再试,不让客户端等待并立刻返回一个友好提示,fallback
- 程序运行异常
- 超时
- 服务熔断触发服务降级
- 线程池/信号量打满也会导致服务降级
服务熔断
达到最大程度直接拒绝访问,再调用服务降级方法返回
服务的降级->进而熔断->恢复调用链路
服务限流
秒杀高并发等操作,严禁一窝蜂的过来拥挤,大家排队,一秒钟N个,有序进行
6.3 hystrix 案例
6.3.1 构建
模块 ---- POM
<!--hystrix-->
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-hystrix</artifactId>
</dependency>
YML ---- 主启动 ---- 业务类 ---- 测试
6.3.2 高并发测试
Jmeter
hystrix + feign 消费duan
feign:
hystrix:
enabled: true
故障:
- 提供者同一层次的其它接口服务被困死,因为tomcat线程池里面的工作线程已经被挤占完毕
- 调用客户端访问响应缓慢
解决: ---- 服务降级
- 超时不再等待
- 出错要有兜底
6.3.3 服务降级
降低配置
设置自身调用超时时间的峰值,峰值内可以正常运行,
超过了需要有兜底的方法处理,作服务降级fallback
fallback
- 一旦调用服务方法失败并抛出了错误信息后,会自动调用@HystrixCommand标注好的fallbackMethod调用类中的指定方法
@HystrixCommand(fallbackMethod = "paymentInfo_TimeOutHandler", commandProperties = {@HystrixProperty(name = "execution.isolation.thread.timeoutInMilliseconds", value = "5000")})
- 主启动激活 添加新注解@EnableCircuitBreaker
每个业务方法对应一个兜底的方法,代码膨胀
- @DefaultProperties(defaultFallback = "payment_Global_FallbackMethod") 指定默认通用方法
客户端服务降级 ---- 业务方法与处理方法分开
- 为Feign客户端定义的接口添加一个服务降级处理的实现类即可实现解耦
- 新建实现service接口 FallbackService
- service接口添加 @FeignClient(value = "XX", fallback =FallbackService.class)
6.3.4 服务熔断
- 熔断机制是应对雪崩效应的一种微服务链路保护机制。
- 当扇出链路的某个微服务出错不可用或者响应时间太长时,会进行服务的降级,进而熔断该节点微服务的调用,快速返回错误的响应信息。
- 当检测到该节点微服务调用响应正常后,恢复调用链路。
- Hystrix会监控微服务间调用的状况,当失败的调用到一定阈值,缺省是5秒内20次调用失败,就会启动熔断机制。
- 熔断机制的注解是@HystrixCommand。
使用
service
@HystrixCommand(fallbackMethod = "paymentCircuitBreaker_fallback", commandProperties = {
@HystrixProperty(name = "circuitBreaker.enabled", value = "true"),// 是否开启断路器
@HystrixProperty(name = "circuitBreaker.requestVolumeThreshold", value = "10"),// 请求次数
@HystrixProperty(name = "circuitBreaker.sleepWindowInMilliseconds", value = "10000"), // 时间窗口期
@HystrixProperty(name = "circuitBreaker.errorThresholdPercentage", value = "60"),// 失败率达到多少后跳闸
})
熔断类型
- 熔断打开: 请求不再进行调用当前服务,内部设置时钟一般为MTTR(平均故障处理时间),当打开时长达到所设时钟则进入半熔断状态
- 熔断关闭: 熔断关闭不会对服务进行熔断
- 熔断半开: 部分请求根据规则调用当前服务,如果请求成功且符合规则则认为当前服务恢复正常,关闭熔断
断路器的三个重要参数
- 快照时间窗:断路器确定是否打开需要统计一些请求和错误数据,而统计的时间范围就是快照时间窗,默认为最近的10秒。
- 请求总数阀值:在快照时间窗内,必须满足请求总数阀值才有资格熔断。默认为20,意味着在10秒内,如果该hystrix命令的调用次数不足20次,即使所有的请求都超时或其他原因失败,断路器都不会打开。
- 错误百分比阀值:当请求总数在快照时间窗内超过了阀值,比如发生了30次调用,如果在这30次调用中,有15次发生了超时异常,也就是超过50%的错误百分比,在默认设定50%阀值情况下,这时候就会将断路器打开。
断路器开启或者关闭的条件
- 当满足一定的阀值的时候(默认10秒内超过20个请求次数)
- 当失败率达到一定的时候(默认10秒内超过50%的请求失败)
- 到达以上阀值,断路器将会开启
- 当开启的时候,所有请求都不会进行转发
- 一段时间之后(默认是5秒),这个时候断路器是半开状态,会让其中一个请求进行转发。如果成功,断路器会关闭,若失败,继续开启。重复4和5
断路器断开后
- 新的请求调用将不会调用主逻辑,而是直接调用降级fallback。
- 当断路器打开,对主逻辑进行熔断之后,hystrix会启动一个休眠时间窗
- 在这个时间窗内,降级逻辑是临时的成为主逻辑,
- 当休眠时间窗到期,断路器将进入半开状态,释放一次请求到原来的主逻辑上
- 如果此次请求正常返回,那么断路器将闭合,主逻辑恢复
- 如果这次请求依然有问题,断路器继续进入打开状态,休眠时间窗重新计时
6.3.5 服务限流
alibaba Sentinel
6.4 工作流程
- 创建 HystrixCommand(依赖的服务返回单个操作结果时)或HystrixObserableCommand(依赖的服务返回多个操作结果时)对象
- 命令执行
- HystrixComand 实现了下面前两种执行方式:
- execute():同步执行,从依赖的服务返回一个单一的结果对象, 或是在发生错误的时候抛出异常。
- queue():异步执行, 直接返回 一个Future对象, 其中包含了服务执行结束时要返回的单一结果对象。
- HystrixObservableCommand 实现了后两种执行方式:
- observe():返回 Observable 对象,它代表了操作的多个结果,它是一个 Hot Obserable(不论 "事件源" 是否有 "订阅者",都会在创建后对事件进行发布,所以对于 Hot Observable 的每一个 "订阅者" 都有可能是从 "事件源" 的中途开始的,并可能只是看到了整个操作的局部过程)。
- toObservable(): 同样会返回 Observable 对象,也代表了操作的多个结果,但它返回的是一个Cold Observable(没有 "订阅者" 的时候并不会发布事件,而是进行等待,直到有 "订阅者" 之后才发布事件,所以对于 Cold Observable 的订阅者,它可以保证从一开始看到整个操作的全部过程)。
- HystrixComand 实现了下面前两种执行方式:
- 若当前命令的请求缓存功能是被启用的, 并且该命令缓存命中, 那么缓存的结果会立即以 Observable 对象的形式返回。
- 检查断路器是否为打开状态。
- 断路器打开,那么Hystrix不会执行命令,而是转接到 fallback 处理逻辑(第 8 步);
- 断路器关闭,检查是否有可用资源来执行命令(第 5 步)。
- 线程池/请求队列/信号量是否占满。
- 如果命令依赖服务的专有线程池和请求队列,或者信号量(不使用线程池的时候)已经被占满, 那么 Hystrix 也不会执行命令, 而是转接到 fallback 处理逻辑(第8步)。
- Hystrix 会根据我们编写的方法来决定采取什么样的方式去请求依赖服务
- HystrixCommand.run() :返回一个单一的结果,或者抛出异常。
- HystrixObservableCommand.construct(): 返回一个Observable 对象来发射多个结果,或通过 onError 发送错误通知。
- Hystrix会将 "成功"、"失败"、"拒绝"、"超时" 等信息报告给断路器, 而断路器会维护一组计数器来统计这些数据。断路器会使用这些统计数据来决定是否要将断路器打开,来对某个依赖服务的请求进行 "熔断/短路"。
- 当命令执行失败的时候, Hystrix 会进入 fallback 尝试回退处理, 我们通常也称该操作为 "服务降级"。而能够引起服务降级处理的情况有下面几种:
- 第4步: 当前命令处于"熔断/短路"状态,断路器是打开的时候。
- 第5步: 当前命令的线程池、 请求队列或 者信号量被占满的时候。
- 第6步:HystrixObservableCommand.construct() 或 HystrixCommand.run() 抛出异常的时候。
- 当Hystrix命令执行成功之后, 它会将处理结果直接返回或是以Observable 的形式返回。
- tips:如果我们没有为命令实现降级逻辑或者在降级处理逻辑中抛出了异常, Hystrix 依然会返回一个 Observable 对象, 但是它不会发射任何结果数据, 而是通过 onError 方法通知命令立即中断请求,并通过onError()方法将引起命令失败的异常发送给调用者。
6.5 服务监控
准实时的调用监控(Hystrix Dashboard)
Hystrix会持续地记录所有通过Hystrix发起的请求的执行信息,并以统计报表和图形的形式展示给用户。
Netflix通过hystrix-metrics-event-stream项目实现了对以上指标的监控。
Spring Cloud也提供了Hystrix Dashboard的整合,对监控内容转化成可视化界面。
仪表盘
模块 ---- POM
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-netflix-hystrix-dashboard</artifactId>
</dependency>
YML ---- 主启动 @EnableHystrixDashboard
所有微服务提供类(8001/8002/8003)都需要监控依赖配置 ---- actuator
断路器演示
服务提供 ---- @EnableCircuitBreaker 启动熔断 ----主启动类添加
/**
*此配置是为了服务监控而配置,与服务容错本身无关,springcloud升级后的坑
*ServletRegistrationBean因为springboot的默认路径不是"/hystrix.stream",
*只要在自己的项目里配置上下面的servlet就可以了
*/
@Bean
public ServletRegistrationBean getServlet() {
HystrixMetricsStreamServlet streamServlet = new HystrixMetricsStreamServlet();
ServletRegistrationBean registrationBean = new ServletRegistrationBean(streamServlet);
registrationBean.setLoadOnStartup(1);
registrationBean.addUrlMappings("/hystrix.stream");
registrationBean.setName("HystrixMetricsStreamServlet");
return registrationBean;
}
监控地址 9001监控8001 http://localhost:8001/hystrix.stream
- Delay:该参数用来控制服务器上轮询监控信息的延迟时间,默认为2000毫秒,可以通过配置该属性来降低客户端的网络和CPU消耗。
- Title:该参数对应了头部标题Hystrix Stream之后的内容,默认会使用具体监控实例的URL,可以通过配置该信息来展示更合适的标题。
监控图
- 实心圆:共有两种含义。
- 通过颜色的变化代表了实例的健康程度,健康度从绿色>黄色>橙色>红色递减。
- 实心圆的大小也会根据实例的请求流量发生变化,流量越大该实心圆就越大。
- 通过该实心圆的展示,就可以在大量的实例中快速的发现故障实例和高压力实例。
- 曲线:用来记录2分钟内流量的相对变化,可以通过它来观察到流量的上升和下降趋势。

浙公网安备 33010602011771号