Fork me on GitHub

Grafana新手教程-实现仪表盘创建和告警推送

前言

最近在使用Grafana的时候,发现Grafana功能比想象中要强大,除了配合Prometheus使用之外,他自身都可以做很多事情,可视化和监控平台,还可以直接根据用户自定义的告警规则完成告警和进行各种通知。于是在深入学习了一段时间之后,整理成此博文。温馨提示,本文约1.3w字,几十张示例图片并且含描述。

一、Grafana介绍

Grafana是一个开源的数据可视化和监控平台,它可以帮助用户通过创建仪表盘和图表来实时监控和分析数据。Grafana支持多种数据源,包括Prometheus、Graphite、InfluxDB、Elasticsearch等,用户可以通过Grafana将这些数据源的数据整合在一起,进行统一的可视化展示和分析。
Grafana提供了丰富的图表类型和插件,用户可以根据自己的需求定制各种图表和仪表盘,以便更直观地了解数据的趋势和变化。此外,Grafana还支持告警功能,用户可以设置告警规则并及时收到通知,以便及时处理问题。
总的来说,Grafana是一个功能强大的数据可视化和监控平台,适用于各种场景,包括IT运维、应用性能监控、工业物联网等领域。它的开源特性也使得用户可以根据自己的需求进行定制和扩展。

二、Grafana仪表盘创建

仪表盘创建有如下三个核心配置点:

  1. 创建数据源;
  2. 创建面板;
  3. 创建仪表盘;

Grafana结合Prometheus和Alertmanager在我之前写的文章中 已经讲解过了,这里就主要写对接MySql直接实现仪表盘创建和告警推送。
Prometheus+Grafana+Alertmanager实现告警推送教程 ----- 图文详解

1.添加数据源

点击data sources -> add new source->搜索mysql->填写mysql的链接信息即可。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2.创建面板

选择首页-》仪表盘-》新建-》填写对应信息即可。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.创建仪表盘

我们可以在上面的创建的面板中,创建对应的仪表盘,点击添加,即可创建。
在这里插入图片描述
对应的主要功能的说明在下列图例汇总,这里就不过多描述了。
在这里插入图片描述

这里下列为了方便演示,统一使用如下sql数据进行。

创建的sql和示例数据语句:

-- 创建学生表
CREATE TABLE student (
    id INT AUTO_INCREMENT PRIMARY KEY,
    birthday_time DATETIME,
    NAME VARCHAR(50),
    classId INT,
    source INT
);

-- 插入示例数据
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-01-01', '张三', 1, 80);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-02-02', '李四', 2, 75);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-03-03', '王五', 1, 90);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-04-04', '赵六', 3, 85);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-05-05', '小明', 2, 78);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-06-06', '小红', 1, 92);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-07-07', '小刚', 3, 87);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-08-08', '小美', 2, 79);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-09-09', '小丽', 1, 88);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-10-10', '小强', 3, 82);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-11-11', '小雨', 2, 91);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-12-12', '小霞', 1, 76);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-01-13', '小风', 3, 83);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-02-14', '小雪', 2, 89);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-03-15', '小玲', 1, 84);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-04-16', '小华', 3, 77);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-05-17', '小龙', 2, 86);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-06-18', '小虎', 1, 93);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-07-19', '小燕', 3, 81);
INSERT INTO student (birthday_time, NAME, classId, source) VALUES ('2015-08-20', '小菲', 2, 74);

1.表单-最简单的示例

这里为了方便演示,下列所有的我都是用code模式,也就是直接贴上sql语句。将写好的sql贴上去之后,点击run query,然后选择对应的图表即可显示。

查询的sql

select * from student;

显示的图表
在这里插入图片描述

2.表单-柱状图

这里我们也是用一个分词简单易懂的查询来展示吧。

查询的sql

SELECT
  UNIX_TIMESTAMP(birthday_time) AS time_sec,
  sum(source) AS VALUE,
  CONCAT(classId,"班级") AS metric
FROM student
GROUP BY classId
ORDER BY birthday_time ASC

显示的效果
在这里插入图片描述

点击suggestions可以切换各种推荐图表
在这里插入图片描述

3.折线图

这里我们就统计一下学生的月份生日数量。这里我们需要用$__timeGroup$__timeFilter函数,它们是Grafana的函数,他们的用法如下:

  • $__timeGroup 函数用于将时间范围分组成特定的时间间隔,例如每分钟、每小时、每天等。这个函数通常用于创建时间序列图表,帮助用户将数据按照时间间隔进行聚合和展示。
  • $__timeFilter 函数用于过滤特定的时间范围,用户可以使用该函数来限制数据的时间范围,例如只显示最近一小时的数据或者只显示某个特定时间段的数据。

除了 $__timeGroup$__timeFilter,Grafana 还提供了其他与时间相关的内置函数,例如:

  • $__timeFrom():用于指定起始时间,可以指定相对时间(例如“now-1h”表示当前时间的一小时前)或绝对时间(例如“2023-11-14T00:00:00”表示具体的时间点)。
  • $__timeTo():用于指定结束时间,同样可以指定相对时间或绝对时间。
  • $__timeFilterGroup():用于根据时间范围过滤数据,并且可以结合其他过滤条件使用。

查询的Sql

SELECT
 $__timeGroup(birthday_time, '1M') AS time_sec,      
      COUNT(id) AS '数量'
FROM student  
WHERE $__timeFilter(birthday_time)
GROUP BY time_sec 

对应的示例图:
在这里插入图片描述

4.折线图-多条数据

这里我们就根据统计上述的统计在加一条线,比如我这边想看1班的情况。

查询的sql

SELECT
 $__timeGroup(birthday_time, '1M') AS time_sec,      
      COUNT(id) AS '数量',
      SUM(classId =1 ) as '1班'
FROM student  
WHERE $__timeFilter(birthday_time)
GROUP BY time_sec 

示例图:
在这里插入图片描述

5.折线图-过滤筛选单条

根据上述的过程中,我们发现一点问题,上述的查询sql是写死的,那么我们有办法增加一个变量去统计呢,比如上述的数据中我们想查单独看1班的数据或2班的数据。那么这里我们就要用到Grafana的一个变量,他可以自定义变量,还可以设置变量。整体操作如下示例图,相关注释已写。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这里我们还是根据上述的统计来进行改造,这里我们设置一个变量,支持按照班级统计。

对应的查询SQL

SELECT
 $__timeGroup(birthday_time, '1M') AS time_sec,      
      COUNT(id) AS '数量'
FROM student  
WHERE $__timeFilter(birthday_time)
and classId = $class_name 
GROUP BY time_sec 

在这里插入图片描述
在这里插入图片描述

6.折线图-过滤筛选多选聚合

上述示例中,我们添加了单条筛选,这里我们来添加多条筛选,以及添加自定义的常量数据来进行
筛选,常量数据配置如下示例图:

在这里插入图片描述
这里在顺便说下右边的两个小图标的含义:
在这里插入图片描述

查询的SQL如下:

SELECT
 $__timeGroup(birthday_time, '1M') AS time_sec,      
      COUNT(id) AS '数量'
FROM student  
WHERE $__timeFilter(birthday_time)
and classId in ($class_names)
GROUP BY time_sec 

在这里插入图片描述

7.折线图-动态多个数据分组

上述示例中,我们已经完成基本的简单的创建,可以最基本的完成我们想要的图表。
如果我们想要完成更复杂一点的,比如将每个Y轴指标通过页面筛选呈现多条状态数据,并可以根据页面筛选进行数据图表呈现。也就是我根据上述的多选条件,来生成对应的则线图,选择几个就生成几条。

这里的配置会稍微复杂一些。

查询的SQL:

SELECT
 $__timeGroup(birthday_time, '1M') AS time_sec,    
           CAST(classId AS CHAR)  as '班级',
      COUNT(classId) AS '数量'
FROM student  
WHERE $__timeFilter(birthday_time)
and classId in ($class_names)
GROUP BY classId,time_sec 

注: 如果统计的字段类型是整型,需要进行转换,否则会不生效!

这里顺便在说下样式之类的调整,在右边的选项中往下拉,可以对图表进行样式调整,相关说明都在示例图中了。

在这里插入图片描述
在这里插入图片描述
我们要实现上述的功能,需要用到Transform功能,示例图如下:
在这里插入图片描述
在这里插入图片描述

最终演示的效果图图如下:
在这里插入图片描述

上述的面板的json文件下载地址: https://files.cnblogs.com/files/xuwujing/测试面板-1699947693208.json?t=1699952258&download=true

8.折线图-动态创建多个面板统计

上述的图例中,我们完成了基本的图例创建,这里我们就稍微玩点高级一点点图表,根据下拉多选的数据,自动创建多个面板。

查询sql

SELECT
 $__timeGroup(birthday_time, '1M') AS time_sec,    
           CAST(classId AS CHAR)  as '班级',
      COUNT(classId) AS '数量'
FROM student  
WHERE $__timeFilter(birthday_time)
and classId in ($class_names)
GROUP BY classId,time_sec 

配置基于选择的值进行重复查询并针对变量每个成员应用到新面板.
在这里插入图片描述

最终效果图如下:

在这里插入图片描述

三、Grafana告警规则配置

Grafana的告警核心配置:

  1. 告警联络点(通知方式,邮件、webhook等)配置;
  2. 告警规则(各个图表的规则)配置;
  3. 告警通知策略(联络点和规则的关联,告警发送频率、静默配置等)配置;

1.告警联络点配置

首先需要明确使用什么方式进行联络,目前使用比较多的是企微、钉钉和飞书,其中除了飞书稍微麻烦一点外,需要一个中转服务,企微和钉钉不需要直接对接即可。

1.1 对接企微/钉钉

在这里插入图片描述

对接钉钉和企微毕竟简单,下拉选择钉钉和微信,然后填写对应信息即可。
在这里插入图片描述
在这里插入图片描述

1.2 对接飞书

对接飞书比较麻烦一点,Grafana并不支持接入飞书,所以需要通过一个中转服务来对Grafana的数据进行转换成飞书需要的数据格式,然后进行告警消息推送。

在这里插入图片描述

这里选择webhook,然后填写中转服务的地址,中转服务只需要提供一个对应的接口地址即可,然后次http接口里面需要将接收Grafana请求的数据传输到飞书。

在这里插入图片描述

飞书对应的文档链接:
https://www.feishu.cn/hc/zh-CN/articles/807992406756-webhook-触发器
https://open.feishu.cn/document/client-docs/bot-v3/add-custom-bot

中转服务代码示例如下:


import cn.hutool.core.date.DateUtil;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.http.HttpEntity;
import org.springframework.http.HttpHeaders;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.client.RestTemplate;

import java.util.HashMap;
import java.util.Map;


/**
 * @Author pancm
 * @Description 飞书告警中转服务
 * @Date 2023/9/11
 * @Param
 * @return
 **/
@RestController
@RequestMapping("alert")
@Slf4j
public class AlertController {

 
    @Value("${feishu.webhook-url:https://open.feishu.cn/open-apis/bot/v2/hook/xxxxxxxxxx}")
    private String webHookUrl;

    @Autowired
    private RestTemplate restTemplate;



    private String msg = "告警状态: %s\n告警标题:%s\n告警描述:%s\n面板URL:%s\n发生时间:%s\n负责人: %s ";


    @RequestMapping("/webhook/receive")
    public void receive(@RequestBody String message) {
        log.info("AlertController.receive 获取的Grafana的告警数据:{}", message);
        Map<String, Object> m = createMessage(getText(message));
        HttpHeaders headers = new HttpHeaders();
        headers.setContentType(MediaType.APPLICATION_JSON);
        log.info("AlertController.receive 发送飞书的告警内容:{}", m);
        restTemplate.postForEntity(webHookUrl, new HttpEntity<>(m, headers), Void.class);
    }

    /**
     * 构建通知报文
     *
     * @param content
     * @return
     */
    protected Map<String, Object> createMessage(String content) {
        Map<String, Object> messageJson = new HashMap<>();
        messageJson.put("msg_type", "text");
        Map<String, Object> text = new HashMap<>();
        text.put("text", content);
        messageJson.put("content", text);
        Long timestamp = System.currentTimeMillis() / 1000;
        messageJson.put("timestamp", timestamp);
        return messageJson;
    }

    /**
     * 构建文本内容
     *
     * @param body
     * @return
     */
    private String getText(String body) {
        JSONObject json = JSON.parseObject(body);
        JSONObject alertObject = json.getJSONArray("alerts").getJSONObject(0);
        String senMsg = String.format(msg,
                getStatusMsg(json.getString("status")),
                json.getString("title"),
                json.getJSONObject("commonAnnotations").getString("description"),
                alertObject.getString("panelURL"),
                DateUtil.now(),
                json.getJSONObject("commonAnnotations").getString("handler")
        );
        return senMsg;
    }

    private String getStatusMsg(String msg) {
        if ("firing".equals(msg)) {
            return "告警产生";
        }
        return "告警恢复";
    }
}

2.告警规则配置

告警的规则创建有两种方式

  1. 可以在告警规则面板上面进行规则创建,点击警报-》警报规则;
  2. 也可以在指定监控图表上面创建,点击图表-》edit-》Alert rule;
    创建告警规则,目前的数据源是mysql,因此需要编写sql语法来进行查询,然后配置告警触发条件,然后设置扫描时间,和在某短时间内都触发了就进行告警,还需要配置告警的一些额外信息,告警的主题、描述等等。

直接在对应的仪表盘创建
在这里插入图片描述
在告警规则里面创建
在这里插入图片描述

3.告警策略配置

主要是将告警联络点和告警规则进行关联匹配。

在这里插入图片描述
在这里插入图片描述

静默规则配置
注:静默时间的配置,存在时区情况,具体情况请看Grafana配置的时区。

在这里插入图片描述

4.一个简单的告警通知示例

这里我们就随便写一个告警sql,让他满足触发告警,比如主要有学生成绩低于90分就进行告警

告警SQL如下

SELECT
COUNT(1) AS c
FROM student 
WHERE 
source < 90 

配置示例图如下:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最终在飞书群里发送的消息如下:
在这里插入图片描述

其他

参考资料

https://grafana.com/docs/grafana/latest/datasources/mysql/#query-editor
https://grafana.com/grafana/plugins/
https://grafana.com/docs/grafana/latest/developers
https://grafana.com/docs/grafana/latest/developers/http_api/dashboard/
https://blog.csdn.net/u014756339/article/details/107816038
https://blog.csdn.net/weixuan_/article/details/131848725
https://zhuanlan.zhihu.com/p/580145725
https://blog.csdn.net/qq_23598037/article/details/99850396
https://docs.aws.amazon.com/zh_cn/grafana/latest/userguide/v9-alerting-explore-labels-matching.html

一首很带感的动漫钢琴曲~

原创不易,如果感觉不错,希望给个推荐!您的支持是我写作的最大动力!
版权声明:
作者:虚无境
博客园出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm    
个人博客出处:https://xuwujing.github.io/

posted @ 2023-11-15 09:24  虚无境  阅读(2858)  评论(0编辑  收藏  举报