Prometheus 告警为什么选用Alertmanager？

[[382097]]

本文转载自微信公众号「猿天地」，作者尹吉欢。转载本文请联系猿天地公众号。    

为什么要用 alertManager

alertmanager 主要用于接收 Prometheus 发送的告警信息，它支持多种告警通知渠道，而且很容易做到告警信息进行去重，降噪，分组等，超级好用。

其实 Grafana 也自带了告警功能，本来想直接用 Grafana 的告警功能，这样就不用多部署一个组件了，试用了一下 Grafana 的告警，不是很好用，然后就放弃了。

看上图，最难受的就是 Template variables are not supported in alert queries 这段话了，不能用于变量类型的模板。下面来解释下这个问题：

指标查询语句如下：

sum(rate(http_server_requests_seconds_count{application="$application", instance="$instance"}[1m])) 

其实是根据 application 和 instance 来查询的，也就是在查询的时候可以选择哪个应用，哪个实例进行数据的查看。

但是你如果要用 Grafana 的告警，就不能这么写，那要怎么写呢?把变量去掉。

假如我的 A 服务有 5 个实例，那么你就得配置 5 个查询语句，如下:

sum(rate(http_server_requests_seconds_count{application="a-service", instance="10.11.11.12"}[1m])) 
sum(rate(http_server_requests_seconds_count{application="a-service", instance="10.11.11.13"}[1m])) 
sum(rate(http_server_requests_seconds_count{application="a-service", instance="10.11.11.14"}[1m])) 
sum(rate(http_server_requests_seconds_count{application="a-service", instance="10.11.11.15"}[1m])) 
sum(rate(http_server_requests_seconds_count{application="a-service", instance="10.11.11.16"}[1m])) 

到了这一步我就直接放弃了，太难用了，不知道有没有其他的方式能够解决这个问题，反正我是投向了 alertmanager。

部署 alertManager

部署 alertmanager 之前我们首先部署一个钉钉消息的转发服务，也就是当有告警的时候，alertmanager 会调用这个转发服务将告警内容发送至钉钉。

docker run -d -p 8060:8060 --name webhook timonwong/prometheus-webhook-dingtalk --ding.profile="webhook1= 
https://oapi.dingtalk.com/robot/send?access_token=你的token" 

钉钉机器人需要自定义关键词来匹配告警信息，否则接收不到消息。

直接用 Docker 来部署 alertmanager，命令如下：

docker run -d --name alertmanager -p 9093:9093 -v /opt/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml prom/alertmanager:latest 

alertmanager.yml

global: 
  resolve_timeout: 5m 
route: 
  receiver: webhook 
  group_wait: 30s 
  group_interval: 5m 
  repeat_interval: 5m 
  group_by: [alertname] 
  routes: 
  - receiver: webhook 
    group_wait: 10s 
receivers: 
- name: webhook 
  webhook_configs: 
  - url: http://10.100.0.168:8060/dingtalk/webhook1/send 
    send_resolved: true 

webhook 的通知地址我们配置成上面我们部署的钉钉转发服务的 IP+Port 就可以了。

修改 prometheus 的配置文件，增加 alertmanager 的配置。

prometheus.yml

# Alertmanager configuration 
alerting: 
  alertmanagers: 
  - static_configs: 
    - targets: ["10.100.0.168:9093"] 
rule_files: 
- "/etc/prometheus/rules.yml" 

配置告警规则

rules.yml

groups: 
- name: qps 
  rules: 
  - alert: QPS告警 
    expr: (sum by(instance,application)(rate(http_server_requests_seconds_count[1m]))) > 100 
    for: 1m 
    labels: 
      severity: warning 
    annotations: 
      description: "应用:{{ $labels.application }} 实例:{{ $labels.instance }} QPS超过100 (当前值: {{ $value }})" 
      summary: "" 
  - alert: 应用下线告警 
    expr: up == 0 
    for: 0m 
    labels: 
      severity: warning 
    annotations: 
      description: "应用:{{ $labels.job }} 实例:{{ $labels.instance }} 已下线" 
      summary: ""   

上面配置了 QPS 告警和应用下线的告警，关于告警规则不做详细讲解，大家可以自己去学习下，当然也有一些可以参考的规则配置，具体可以查看这个网站：https://awesome-prometheus-alerts.grep.to/rules

配置好了后可以在 prometheus 的 Web 控制台 Alerts 中进行查看。

告警效果

遇到的问题

在告警内容显示这块遇到了一个问题，研究了挺长时间的。上面有贴钉钉告警后的消息接入，在描述信息中有写哪个应用，哪个实例出问题了，就是这 2 个具体的信息，在我一开始配置告警规则的时候没有获取到值。

没有获取到值的原因是我的告警规则是这样写的：

sum (rate(http_server_requests_seconds_count[1m])) > 100 

规则本身没问题，也能执行，就是实例值获取不到，后面研究了网上一些其他的规则，发现想要获取具体的值，就得在规则里面包含这些内容才行。

然后就改用下面的方式了，在 sum 后接上要显示的指标名称，就可以在告警信息中显示了。跟 Sql 中的 select 一样，没有写清要哪个字段就不会查询出来。

(sum by(instance,application)(rate(http_server_requests_seconds_count[1m]))) > 100 

关于作者：尹吉欢，简单的技术爱好者，《Spring Cloud 微服务-全栈技术与案例解析》, 《Spring Cloud 微服务 入门 实战与进阶》作者, 公众号猿天地发起人。