模拟验证 Prometheus 到 Alertmanager 联通性：Go 脚本实战指南
模拟验证 Prometheus 到 Alertmanager 联通性：go 脚本实战指南
一、引言
二、为什么需要联通性验证？
在生产环境中，监控系统的稳定性直接关系到系统的可靠性。以下情况可能导致 Prometheus 和 Alertmanager 之间的通信中断：
1. 网络配置错误（防火墙、路由规则）
2. 服务端口未正确暴露
3. 认证/授权配置问题
4. 协议版本不兼容
5. 服务负载过高导致的响应超时
通过模拟告警发送，我们可以：
- 验证基础通信是否正常
- 测试告警格式是否符合要求
- 确认 Alertmanager 是否能正确接收和处理告警
- 提前发现潜在的配置问题
三、模拟验证脚本解析
下面我们将详细解析一个完整的 go 脚本，该脚本可以模拟 Prometheus 向 Alertmanager 发送告警，并验证整个流程的联通性。
package main
import (
"bytes"
"encoding/json"
"fmt"
"log"
"net/http"
"time"
"github.com/go-openapi/strfmt"
"github.com/prometheus/alertmanager/api/v2/models"
)
func main() {
// Alertmanager 的地址
alertmanagerURL := "http://10.10.10.10:9093/api/v2/alerts"
// 创建测试警报
alerts := createTestAlerts()
// 发送警报到 Alertmanager
err := sendAlertsToAlertmanager(alertmanagerURL, alerts)
if err != nil {
log.Fatalf("发送警报失败: %v", err)
}
fmt.Println("警报已成功发送到 Alertmanager")
}
func createTestAlerts() []*models.PostableAlert {
// 创建标签
labels := map[string]string{
"alertname": "【abc-tidb-dev-v4】NODE_memory_1_test_by_zuoyang",
"bi": "abc-tidb-dev-v4",
"cluster": "abc-tidb-dev-v4",
"instance": "10.10.10.01:9600",
"job": "overwritten-nodes",
"severity": "critical",
"monitor": "prometheus",
"current_time": time.Now().Format(time.RFC3339),
}
// 创建警报
alert := &models.PostableAlert{
Alert: models.Alert{
Labels: labelsToLabelSet(labels),
GeneratorURL: "http://prometheus:9090/graph?g0.expr=%28%28%28node_memory_MemTotal_bytes-node_memory_MemFree_bytes-node_memory_Cached_bytes%29%2F%28node_memory_MemTotal_bytes%29*100%29%29+%3E%3D+1\u0026g0.tab=1",
},
StartsAt: strfmt.DateTime(time.Now()), // 当前时间开始
EndsAt: strfmt.DateTime(time.Now().Add(1 * time.Hour)), // 1小时后结束
}
return []*models.PostableAlert{alert}
}
func labelsToLabelSet(labels map[string]string) models.LabelSet {
labelSet := models.LabelSet{}
for name, value := range labels {
labelSet[name] = value
}
return labelSet
}
func sendAlertsToAlertmanager(url string, alerts []*models.PostableAlert) error {
// 将警报转换为 JSON
alertsData := models.PostableAlerts(alerts)
jsonData, err := json.Marshal(alertsData)
if err != nil {
return fmt.Errorf("序列化警报失败: %v", err)
}
// 创建 HTTP 请求
req, err := http.NewRequest("POST", url, bytes.NewBuffer(jsonData))
if err != nil {
return fmt.Errorf("创建请求失败: %v", err)
}
// 设置请求头
req.Header.Set("Content-Type", "application/json")
req.Header.Set("User-Agent", "Prometheus-Test-Client/1.0")
// 发送请求
client := &http.Client{Timeout: 10 * time.Second}
resp, err := client.Do(req)
if err != nil {
return fmt.Errorf("发送请求失败: %v", err)
}
defer resp.Body.Close()
// 检查响应状态码
if resp.StatusCode/100 != 2 {
return fmt.Errorf("Alertmanager 返回错误状态码: %d", resp.StatusCode)
}
return nil
}
三、关键组件解析
3.1、告警数据结构
- 使用 `models.PostableAlert` 结构体定义告警
- 包含告警标签、生成URL、开始时间和结束时间
- 特别添加了 `current_time` 标签用于验证告警的实时性
3.2、HTTP 通信
- 使用标准库的 `net/http` 发送 POST 请求
- 设置正确的 Content-Type 为 application/json
- 配置了 10 秒的超时时间，防止长时间阻塞
3.3、错误处理
- 完整的错误处理链，从序列化到网络请求
- 检查 HTTP 响应状态码，确保请求成功
3.4、时间处理
- 使用 `strfmt.DateTime` 格式化时间戳
- 告警有效期设置为 1 小时，模拟真实场景
四、实际应用场景
4.1、部署后验证
在部署新的 Prometheus 和 Alertmanager 集群后，可以运行此脚本验证：
- Alertmanager 服务是否正常运行
- 网络策略是否允许两者通信
- 端口配置是否正确
4.2、故障排查
当监控系统出现告警丢失问题时，可以：
- 确认是否是通信问题
- 验证告警格式是否符合 Alertmanager 要求
- 检查网络延迟和超时设置
4.3、自动化测试
可以将此脚本集成到 CI/CD 流程中，作为部署前的验证步骤：
go run main.go
if [ $? -ne 0 ]; then
echo "Alertmanager 联通性测试失败"
exit 1
fi
五、高级改进建议
5.1、认证支持
如果 Alertmanager 启用了认证，可以添加 Basic Auth 或 Token 支持：
req.SetBasicAuth("username", "password")
// 或
req.Header.Set("Authorization", "Bearer YOUR_TOKEN")
2. 告警接收确认
扩展脚本以解析 Alertmanager 的响应，获取告警的接收确认信息。
3. 批量测试
添加并发发送多个告警的功能，测试高负载情况下的通信稳定性。
4. 告警状态检查
在发送告警后，添加 API 调用检查 Alertmanager 中是否存在该告警。
5. 日志记录
添加详细的日志记录，包括请求/响应详情，便于故障排查。
六、结论
通过本文介绍的 go 脚本，我们可以有效地模拟 Prometheus 向 Alertmanager 发送告警的过程，从而验证两者之间的联通性。这种方法不仅适用于部署后的验证，还可以集成到自动化测试流程中，作为监控系统健康检查的一部分。
在实际应用中，建议根据具体环境调整告警内容和验证逻辑，同时考虑添加更完善的错误处理和日志记录。通过定期执行此类联通性测试，可以大大提高监控系统的可靠性，确保在关键时刻能够及时准确地发出告警。
希望这个脚本和指南能帮助您更好地维护和验证 Prometheus -> Alertmanager 监控系统的通信链路，保障业务系统的稳定运行。
浙公网安备 33010602011771号