文档目录

问题说明

本文用于排查 ZStone 4.4.27(Cube)修改集群时间并完成同步后,ceph -s 仍持续提示时钟偏移告警的问题。

现象

  • 集群时间修改后,所有节点系统时间已经同步。
  • ceph -s 仍持续显示时钟偏移(clock skew)告警。
图 1. 时钟偏移告警示例

时钟偏移告警示例

适用环境

  • 产品线:ZCF
  • 组件:ZStone
  • 版本:4.4.27

可能原因

Ceph MON 节点间存在 1 秒以上的时钟偏差时会发出告警。修改时间后,从 MON 处理主 MON 发送的续租消息时,接收到的 lease_expire 时间滞后于从 MON 当前系统时间,因此持续出现 probably laggy (or possibly clocks are too skewed) 日志和告警。该告警不影响存储业务功能。

排查步骤

1. 检查时钟偏移告警阈值

  • 命令:
  ceph daemon mon.<hostname> config mon_clock_drift_allowed
  • 检查项:确认当前 MON 时钟偏移告警阈值。
图 2. 查看时钟偏移告警阈值

查看时钟偏移告警阈值

2. 检查节点时间和 MON 日志

  • 命令:
  date
  • 日志路径:/var/log/ceph/ceph-mon*.log
  • 检查项:确认所有节点系统时间已经同步,并检查告警 MON 日志中是否存在大量 probably laggy (or possibly clocks are too skewed) 打印。

3. 重启告警 MON 服务

  • 命令:
  systemctl restart ceph-mon@<hostname>
  • 验证:重启后执行 ceph -s,确认时钟偏移告警消失,集群状态显示 HEALTH_OK。
  • 影响:重启 MON 后,ZStack Cloud 主存储管理页面可能出现存储主机短暂重连,重连后会自动恢复。
修改集群时间后 ceph -s 仍持续提示时钟偏移告警,如何消除? | 故障排查 · KB | ZStack 资源中心