当Prometheus遇到混沌工程

一、背景

最近容器组在开发云平台的监控、报警功能。

大致的实现策略是:

1、云平台页面上配置告警规则

2、Prometheus完成监控数据的聚合

3、当Prometheus聚合后的监控数据满足告警规则,触发钉钉告警

二、过程

1、告警规则配置,一般情况下,业务服务的服务类型为deployment。告警规则:Pod内存使用率大于50%

2、步骤1中创建告警规则时,会同步在Prometheus上创建一个相同规则的Alert任务

3、复制Alert任务的聚合表达式,可以在Graph中实时查看到内存的占用情况

4、收到告警通知

三、Chaos Mesh

那么,是什么让内存的占用突然增高到90%以上,从而能触发告警条件的呢?(告警条件:Pod内存使用率大于50%)

Chaos Mesh登场了。

Chaos Mesh作为一个云原生的混沌工程平台,提供在 Kubernetes 平台上进行混沌测试的能力。

Chaos Mesh包括针对Kubernetes上复杂系统的故障注入方法,并涵盖了Pod,网络,文件系统甚至内核中的故障。

Chaos Mesh功能很强大,这里只用到给Pod注入内存占用。

步骤如下:

 

 

推荐:

https://prometheus.io/
https://prometheus.io/

(官网)

https://chaos-mesh.org/
https://chaos-mesh.org/

 (官网)

https://www.kubernetes.org.cn/7443.html( 

混沌网格(Chaos Mesh)的设计和工作原理
https://www.kubernetes.org.cn/7443.html

 )

https://cloud.tencent.com/developer/article/1579651
https://cloud.tencent.com/developer/article/1579651

(kubernetes系列教程(二十)prometheus提供完备监控系统)