为什么Prometheus 部分监控数据被删除后，在短期内增长后又减少？

问题说明

本文用于排查“为什么Prometheus 部分监控数据被删除后，在短期内增长后又减少”相关问题，适用于 ZStack Cloud 环境中同类现象的初步定位和处理。

适用环境

• 产品：ZCF
• 组件：Cloud
• 版本：3.x-5.5.24

排查步骤

• Prometheus 对一些较早的监控数据会进行压缩操作，压缩过程中会基于源监控数据生成一个新的压缩数据，因此总数据量会有所上升。压缩完成后，压缩的源数据会被删除，因此总数据量会有所下降。且当监控数据保留大小超过所设阈值时，Prometheus 会将较早的一些监控数据删除。
• 监控数据保留大小是指 /var/lib/zstack/prometheus/data2/ 路径下除 wal