k8s全栈架构师39套容器部署落地教程下载实战应用
k8s全栈架构师39套容器部署落地教程下载实战应用39套云原生实战训练营K8s，挑战年薪50万（K8s+Docker+DevOps+Jenkins+CICD+Git+Istio+Service Mesh）视频教程
39套云原生技术包含：云原生实战训练营K8s，挑战年薪50万（K8s+Docker+DevOps+Jenkins+CICD+Git+Istio+Service Mesh）云计算，微服务，容器架构师，全栈架构师，集群实战，部署落地，服务治理，服务网格，原理剖析，实战应用，云原生架构，CKA认证实战班，平台设计与开发等视频教程。
总目录：39套云原生实战训练营K8s，挑战年薪50万（K8s+Docker+DevOps+Jenkins+CICD+Git+Istio+Service Mesh）云计算，微服务，容器架构师，全栈架构师，集群实战，部署落地，服务治理，服务网格，原理剖析，实战应用，云原生架构，CKA认证实战班，平台设计与开发视频教程
第01套：云原生高薪课，挑战年薪50万，从零到一构建开源的企业级PaaS平台视频教程
第02套：拥抱云原生从无到有搭建企业自己的私有云平台实现云上亿级流Kubernetes+DevOps+Jenkins+Istio
第03套：云原生实战Docker+K8s+Kubeshere+DevOps云原生实战架构师必修课
第04套：云原生微服务架构实战精讲，微服务架构的迁移和落地视频教程
第05套：云原生微信小程序开发实战-云开发已经成为小程序开发的标配
第06套：云原生+边缘计算项目实战-KubeEdge打造边缘管理平台，实战云边端一体化设计，迈向高阶人才
第07套：真架构！真正的云原生架构与云IDC实操业务 腾讯架构师工程师TCP认证课程 含DevOps
第08套：Kubernetes全栈架构师：基于世界500强的k8s实战课程
第09套：K8S微服务与容器云架构师(Linux云计算微服务架构师) 讲解实际生产内容知识体系视频课程
第10套：KubernetesK8s CKA认证实战班（完整版）BAT大厂基于K8s构建企业容器云平台
第11套：Kubernetes 原理剖析与实战应用-进阶高级架构师的必须选项视频教程
第12套：K8S集群实战，k8s各种扩展组件的部署和使用，k8s持久化存储，k8s代码自动发布教程
第13套：Docker与Kubernetes最佳实践-架构师必备技能docker入门到专精高阶视频教程
第14套：全面Docker系统性入门+进阶实战（Docker 知识体系及使用指南&最佳实践）
第15套：DevOps实战笔记-DevOps平台设计和开发视频教程
第16套：大厂进阶篇Docker与微服务实战-技术点从入门到高级全面覆盖视频教程
第17套：DevOps落地笔记视频教程-优化研发流程，提高研发效率和产品质量，解决企业实际遇到问题
第18套：微服务Service Mesh实战 Service Mesh实践和落地的学习内容视频教程
第19套：火遍大厂的Service Mesh服务实战课程 从组件到架构全方位解读微服务之Service Mesh
第20套：Istio服务网格服务治理微服务架构与设计全面解析视频教程
第21套：大厂Istio基础与实践 云原生“薪”能力合集，一线大厂实战分享视频教程
第22套：KubernetesK8s CKS 认证实战班-架构+网络+存储+安+监控+日志+QCD视频教程
第23套：Kubernetes网络训练营，为运维和开发打造的进阶体系课Flannel+Calico+Multus+Cilium
第24套：Kubernetes实战与源码剖析体系进阶班MSB，自动化运维管理多个跨机器Docker的集群
第25套：基于阿里云平台，从0构建云原生应用架构设计与开发实战，掌握云原生技术架构开发全流程
第26套：百万云原生架构师4期-掌握云原生架构师的9大顶级架构设计思维模型，架构设计哲学本质
第27套：基于Jenkins的DevOps工程实践 使用Jenkins完成DevOps交付流水线实践落地视频教程
第28套：Jenkins核心功能快速上手Jenkins企业级持续集成持续部署CICD（DI）视频教程
第29套：P7云原生架构师剑指未来，一站式搞定企业级云原生-专业技能+核心原理+方案设计+系统分析
第30套：前端配置化+后端Serverless开发个人博客（全栈+实战）HOOKS+Redux+Webpack+Immer
第31套：玩转Serverless架构 概念篇+开发基础篇+开发进阶篇+场景案例篇视频教程
第32套：Serverless进阶实战课 成为会Serverless懂 Serverless的工程师，云原生技术要红利
第33套：kubernetesk8s各个版本高可用集群灵活安装 掌握k8s日常运维视频教程
第34套：新版K8S+DevOps云原生全栈技术——基于世界500强的高薪实战Kubernetes课
第35套：基于GO语言，K8s+gRPC实战云原生微服务开发与治理实战，完整掌握K8s微服务治理
第36套：新版容器编排k8s最佳实践kubernetes-Rancher2.x–第一季最佳实践
第37套：诸葛老师-电商项目K8S部署与性能优化实战，基于K8S集群电商微服务项目性能优化实战
第38套：Docker入门到进阶教程(Docker从零走向实战)，7个深度3个全面 基础篇+提升篇+高级篇
第39套：Golang企业级运维 融合DevOps运维开发实战，高级运维必修视频课程（76课）
从零开始搭建Prometheus自动监控报警系统
从零搭建Prometheus监控报警系统
什么是Prometheus?
Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。
2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing Foundation), 将Prometheus纳入其下第二大开源项目。
Prometheus目前在开源社区相当活跃。
Prometheus和Heapster(Heapster是K8S的一个子项目，用于获取集群的性能数据。)相比功能更完善、更全面。Prometheus性能也足够支撑上万台规模的集群。
Prometheus的特点
- 多维度数据模型。
- 灵活的查询语言。
- 不依赖分布式存储，单个服务器节点是自主的。
- 通过基于HTTP的pull方式采集时序数据。
- 可以通过中间网关进行时序列数据推送。
- 通过服务发现或者静态配置来发现目标服务对象。
- 支持多种多样的图表和界面展示，比如Grafana等。
架构图
基本原理
Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。这样做非常适合做虚拟化环境监控系统，比如VM、Docker、Kubernetes等。输出被监控组件信息的HTTP接口被叫做exporter 。目前互联网公司常用的组件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux系统信息(包括磁盘、内存、CPU、网络等等)。
服务过程
- Prometheus Daemon负责定时去目标上抓取metrics(指标)数据，每个抓取目标需要暴露一个http服务的接口给它定时抓取。Prometheus支持通过配置文件、文本文件、Zookeeper、Consul、DNS SRV Lookup等方式指定抓取目标。Prometheus采用PULL的方式进行监控，即服务器可以直接通过目标PULL数据或者间接地通过中间网关来Push数据。
- Prometheus在本地存储抓取的所有数据，并通过一定规则进行清理和整理数据，并把得到的结果存储到新的时间序列中。
- Prometheus通过PromQL和其他API可视化地展示收集的数据。Prometheus支持很多方式的图表可视化，例如Grafana、自带的Promdash以及自身提供的模版引擎等等。Prometheus还提供HTTP API的查询方式，自定义所需要的输出。
- PushGateway支持Client主动推送metrics到PushGateway，而Prometheus只是定时去Gateway上抓取数据。
- Alertmanager是独立于Prometheus的一个组件，可以支持Prometheus的查询语句，提供十分灵活的报警方式。
三大套件
- Server 主要负责数据采集和存储，提供PromQL查询语言的支持。
- Alertmanager 警告管理器，用来进行报警。
- Push Gateway 支持临时性Job主动推送指标的中间网关。
本飞猪教程内容简介
- 1.演示安装Prometheus Server
- 2.演示通过golang和node-exporter提供metrics接口
- 3.演示pushgateway的使用
- 4.演示grafana的使用
- 5.演示alertmanager的使用
安装准备
这里我的服务器IP是10.211.55.25，登入，建立相应文件夹
mkdir -p /home/chenqionghe/promethues
mkdir -p /home/chenqionghe/promethues/server
mkdir -p /home/chenqionghe/promethues/client
touch /home/chenqionghe/promethues/server/rules.yml
chmod 777 /home/chenqionghe/promethues/server/rules.yml下面开始三大套件的学习
一.安装Prometheus Server
通过docker方式
首先创建一个配置文件/home/chenqionghe/test/prometheus/prometheus.yml
挂载之前需要改变文件权限为777，要不会引起修改宿主机上的文件内容不同步的问题
global:
scrape_interval: 15s # 默认抓取间隔, 15秒向目标抓取一次数据。
external_labels:
monitor: 'codelab-monitor'
# 这里表示抓取对象的配置
scrape_configs:
#这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:"prometheus"}的标签 - job_name: 'prometheus'
scrape_interval: 5s # 重写了全局抓取间隔时间，由15秒重写成5秒
static_configs:
- targets: ['localhost:9090']运行
docker rm -f prometheus
docker run --name=prometheus -d \
-p 9090:9090 \
-v /home/chenqionghe/promethues/server/prometheus.yml:/etc/prometheus/prometheus.yml \
-v /home/chenqionghe/promethues/server/rules.yml:/etc/prometheus/rules.yml \
prom/prometheus:v2.7.2 \
--config.file=/etc/prometheus/prometheus.yml \
--web.enable-lifecycle启动时加上--web.enable-lifecycle启用远程热加载配置文件
调用指令是curl -X POST http://localhost:9090/-/reload
访问http://10.211.55.25:9090
我们会看到如下l界面
访问http://10.211.55.25:9090/metrics
我们配置了9090端口，默认prometheus会抓取自己的/metrics接口
在Graph选项已经可以看到监控的数据
二.安装客户端提供metrics接口
1.通过golang客户端提供metrics
mkdir -p /home/chenqionghe/promethues/client/golang/src
cd !$
export GOPATH=/home/chenqionghe/promethues/client/golang/
#克隆项目
git clone https://github.com/prometheus/client_golang.git
#安装需要FQ的第三方包
mkdir -p $GOPATH/src/golang.org/x/
cd !$
git clone https://github.com/golang/net.git
git clone https://github.com/golang/sys.git
git clone https://github.com/golang/tools.git
#安装必要软件包
go get -u -v github.com/prometheus/client_golang/prometheus
#编译
cd $GOPATH/src/client_golang/examples/random
go build -o random main.go运行3个示例metrics接口
./random -listen-address=:8080 &
./random -listen-address=:8081 &
./random -listen-address=:8082 &2.通过node exporter提供metrics
docker run -d \
--name=node-exporter \
-p 9100:9100 \
prom/node-exporter然后把这两些接口再次配置到prometheus.yml, 重新载入配置curl -X POST http://localhost:9090/-/reload
global:
scrape_interval: 15s # 默认抓取间隔, 15秒向目标抓取一次数据。
external_labels:
monitor: 'codelab-monitor'
rule_files:
#- 'prometheus.rules'
# 这里表示抓取对象的配置
scrape_configs:
#这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:"prometheus"}的标签 - job_name: 'prometheus'
- job_name: 'prometheus'
scrape_interval: 5s # 重写了全局抓取间隔时间，由15秒重写成5秒
static_configs:
- targets: ['localhost:9090']
- targets: ['http://10.211.55.25:8080', 'http://10.211.55.25:8081','http://10.211.55.25:8082']
labels:
group: 'client-golang'
- targets: ['http://10.211.55.25:9100']
labels:
group: 'client-node-exporter'可以看到接口都生效了
prometheus还提供了各种exporter工具，感兴趣小伙伴可以去研究一下
三.安装pushgateway
pushgateway是为了允许临时作业和批处理作业向普罗米修斯公开他们的指标。
由于这类作业的存在时间可能不够长, 无法抓取到, 因此它们可以将指标推送到推网关中。
Prometheus采集数据是用的pull也就是拉模型，这从我们刚才设置的5秒参数就能看出来。但是有些数据并不适合采用这样的方式，对这样的数据可以使用Push Gateway服务。
它就相当于一个缓存，当数据采集完成之后，就上传到这里，由Prometheus稍后再pull过来。
我们来试一下，首先启动Push Gateway
mkdir -p /home/chenqionghe/promethues/pushgateway
cd !$
docker run -d -p 9091:9091 --name pushgateway prom/pushgateway访问http://10.211.55.25:9091 可以看到pushgateway已经运行起来了
接下来我们就可以往pushgateway推送数据了，prometheus提供了多种语言的sdk，最简单的方式就是通过shell
- 推送一个指标
echo "cqh_metric 100" | curl --data-binary @- http://ubuntu-linux:9091/metrics/job/cqh- 推送多个指标
cat <<EOF | curl --data-binary @- http://10.211.55.25:9091/metrics/job/cqh/instance/test
# 锻炼场所价格
muscle_metric{label="gym"} 8800
# 三大项数据 kg
bench_press 100
dead_lift 160
deep_squal 160
EOF然后我们再将pushgateway配置到prometheus.yml里边,重载配置
看到已经可以搜索出刚刚推送的指标了
四.安装Grafana展示
Grafana是用于可视化大型测量数据的开源程序，它提供了强大和优雅的方式去创建、共享、浏览数据。
Dashboard中显示了你不同metric数据源中的数据。
Grafana最常用于因特网基础设施和应用分析，但在其他领域也有用到，比如：工业传感器、家庭自动化、过程控制等等。
Grafana支持热插拔控制面板和可扩展的数据源，目前已经支持Graphite、InfluxDB、OpenTSDB、Elasticsearch、Prometheus等。
我们使用docker安装
docker run -d -p 3000:3000 --name grafana grafana/grafana默认登录账户和密码都是admin，进入后界面如下
我们添加一个数据源
把Prometheus的地址填上
导入prometheus的模板
打开左上角选择已经导入的模板会看到已经有各种图
我们来添加一个自己的图表
指定自己想看的指标和关键字，右上角保存
看到如下数据
到这里我们就已经实现了数据的自动收集和展示，下面来说下prometheus如何自动报警
五.安装AlterManager
Pormetheus的警告由独立的两部分组成。
Prometheus服务中的警告规则发送警告到Alertmanager。
然后这个Alertmanager管理这些警告。包括silencing, inhibition, aggregation，以及通过一些方法发送通知，例如：email，PagerDuty和HipChat。
建立警告和通知的主要步骤：
- 创建和配置Alertmanager
- 启动Prometheus服务时，通过-alertmanager.url标志配置Alermanager地址，以便Prometheus服务能和Alertmanager建立连接。
创建和配置Alertmanager
mkdir -p /home/chenqionghe/promethues/alertmanager
cd !$创建配置文件alertmanager.yml
global:
resolve_timeout: 5m
route:
group_by: ['cqh']
group_wait: 10s #组报警等待时间
group_interval: 10s #组报警间隔时间
repeat_interval: 1m #重复报警间隔时间
receiver: 'web.hook'
receivers:
- name: 'web.hook'
webhook_configs:
- url: 'http://10.211.55.2:8888/open/test'
inhibit_rules:
- source_match:
severity: 'critical'
target_match:
severity: 'warning'
equal: ['alertname', 'dev', 'instance']这里配置成了web.hook的方式，当server通知alertmanager会自动调用webhook http://10.211.55.2:8888/open/test
下面运行altermanager
docker rm -f alertmanager
docker run -d -p 9093:9093 \
--name alertmanager \
-v /home/chenqionghe/promethues/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
prom/alertmanager访问http://10.211.55.25:9093
接下来修改Server端配置报警规则和altermanager地址
修改规则/home/chenqionghe/promethues/server/rules.yml
groups:
- name: cqh
rules:
- alert: cqh测试
expr: dead_lift > 150
for: 1m
labels:
status: warning
annotations:
summary: "{{$labels.instance}}:硬拉超标！lightweight baby!!!"
description: "{{$labels.instance}}:硬拉超标！lightweight baby!!!"这条规则的意思是，硬拉超过150公斤，持续一分钟，就报警通知
然后再修改prometheus添加altermanager配置
global:
scrape_interval: 15s # 默认抓取间隔, 15秒向目标抓取一次数据。
external_labels:
monitor: 'codelab-monitor'
rule_files:
- /etc/prometheus/rules.yml
# 这里表示抓取对象的配置
scrape_configs:
#这个配置是表示在这个配置内的时间序例，每一条都会自动添加上这个{job_name:"prometheus"}的标签 - job_name: 'prometheus'
- job_name: 'prometheus'
scrape_interval: 5s # 重写了全局抓取间隔时间，由15秒重写成5秒
static_configs:
- targets: ['localhost:9090']
- targets: ['10.211.55.25:8080', '10.211.55.25:8081','10.211.55.25:8082']
labels:
group: 'client-golang'
- targets: ['10.211.55.25:9100']
labels:
group: 'client-node-exporter'
- targets: ['10.211.55.25:9091']
labels:
group: 'pushgateway'
alerting:
alertmanagers:
- static_configs:
- targets: ["10.211.55.25:9093"]重载prometheus配置，规则就已经生效
接下来我们观察grafana中数据的变化
然后我们点击prometheus的Alert模块，会看到已经由绿->黄-红，触发了报警
然后我们再来看看提供的webhook接口，这里的接口我是用的golang写的，接到数据后将body内容报警到钉钉
钉钉收到报警内容如下
到这里，从零开始搭建Prometheus实现自动监控报警就说介绍完了，一条龙服务，自动抓取接口+自动报警+优雅的图表展示，你还在等什么，赶紧high起来！
由于是新手向的教导，我觉得有几个地方需要加强一下
1 有部分docker没有锁定版本，建议锁定版本，以免后续改动
docker -v挂载目录这方面能不能建立一个跟用户无关的文件夹？要考虑好多docker新手也想学。
2 prometheus初始config文件不对，我用你的文件没能复现，各种报配置文件错误，我拿默认的改了一个，才生效。（我不懂prometheus的配置了，好像是少东西，用的docker版本一致2.7.2）
3 、push gateway没写怎么加入到监控队列中，建议加上，写清楚配置文件的修改和加强
在这里，将我的prometheus config文件给大家展示出来，供参考
（133.155.131.152是我的云主机公网IP，大家请根据实际情况修改）
global:
scrape_interval: 15s # 默认抓取间隔, 15秒向目标抓取一次数据。
scrape_timeout: 4s
evaluation_interval: 15s
external_labels:
monitor: 'codelab-monitor'
rule_files:
- /etc/prometheus/server/rules.yml
alerting:
alertmanagers:
- static_configs:
- targets: ["139.155.131.152:9093"]
scheme: http
timeout: 10s
scrape_configs:
- job_name: prometheus
scrape_interval: 5s
scrape_timeout: 4s
metrics_path: /metrics
scheme: http
static_configs:
- targets:
- localhost:9090
- targets:
- 139.155.131.152:8080
- 139.155.131.152:8081
- 139.155.131.152:8082
labels:
group: 'client-golang'
- targets:
- 139.155.131.152:9100
labels:
group: 'client-node-exporter'
- targets:
- 139.155.131.152:9091
labels:
group: 'push-gateway'
@siusiu~~
我放到百度云里面了，永久有效。
不过时间有点长了，你需要测一下
链接: https://pan.baidu.com/s/1UkjT9x-knOvGIZ-tchsG6Q 提取码: dqhn
docker: Error response from daemon: OCI runtime create failed: container_linux.go:349: starting container process caused "process_linux.go:449: container init caused "rootfs_linux.go:58: mounting \"/home/chenqionghe/promethues/server/prometheus.yml\" to rootfs \"/var/lib/docker/overlay2/a9d9574d277dec123ab56f580ffd2f59cd8ef9f984c76b13aafd5c3370fd6c55/merged\" at \"/var/lib/docker/overlay2/a9d9574d277dec123ab56f580ffd2f59cd8ef9f984c76b13aafd5c3370fd6c55/merged/etc/prometheus/prometheus.yml\" caused \"not a directory\""": unknown: Are you trying to mount a directory onto a file (or vice-versa)? Check if the specified host path exists and is the expected type.
你好博主，运行完 docker run --name=prometheus 就开始报上面的那个错了，这个是什么情况呢，有遇到过吗？ 看下了回复我一下，感谢！
level=error ts=2021-03-04T09:46:42.338551155Z caller=main.go:688 err="error loading config from "/etc/prometheus/prometheus.yml": couldn't load configuration (--config.file="/etc/prometheus/prometheus.yml"): parsing YAML file /etc/prometheus/prometheus.yml: yaml: unmarshal errors:\n line 8: cannot unmarshal !!map into []*config.ScrapeConfig"
我按命令运行prometheus容器后报这个错咋回事
无法下载安装必要包
go get -u -v github.com/prometheus/client_golang/prometheus
github.com/prometheus/client_golang (download)k8s全栈架构师39套容器部署落地教程下载实战应用k8s全栈架构师39套容器部署落地教程下载实战应用k8s全栈架构师39套容器部署落地教程下载实战应用k8s全栈架构师39套容器部署落地教程下载实战应用k8s全栈架构师39套容器部署落地教程下载实战应用k8s全栈架构师39套容器部署落地教程下载实战应用k8s全栈架构师39套容器部署落地教程下载实战应用k8s全栈架构师39套容器部署落地教程下载实战应用
cd /root/go/src/github.com/prometheus/client_golang; git pull --ff-only
error: RPC failed; result=52, HTTP code = 0
fatal: The remote end hung up unexpectedly
package github.com/prometheus/client_golang/prometheus: exit status 1
浙公网安备 33010602011771号