第16章二姨的私信
第16章二姨的私信(第2/6页)
同步会变慢。平时负载低，不明显。昨晚爬虫触发了几次全表扫描，放大了这个问题。”
老赵脸色变了：“你…你怎么知道？”
“我看了变更记录。”贝西克说，“上周五晚上十一点二十三分，有数据库变更工单，执行人是你。变更理由是‘提升同步性能’。但工单状态是‘部分完成’，备注写着‘从库明天补’。但第二天没人跟进。”
“你怎么能看到变更记录？”李总问，“那是dba权限。”
“我有只读权限，上周申请的，为了排查另一个问题。”贝西克说，“刚才会议期间，我查了日志，确认了这一点。”
老赵额头冒汗：“那个…从库我后来补了，周一上午补的。”
“但从周五晚上到周一上午，有六十个小时窗口期，主从不一致。”贝西克说，“故障发生在这个窗口期内。”
小陈看向老赵：“老赵，真有这事？”
老赵低头，不说话。
王总盯着他：“是不是？”
“是…”老赵声音很小，“但我以为不影响…平时都正常…”
“你以为？”王总提高声音，“三千万交易延迟，用户投诉，公司形象受损，就因为你‘以为’？”
“王总，我…”老赵想辩解，但说不出话。
贝西克继续说：“另外，我观察到另一个问题。运维在02:45重启从库，但重启前没有做‘stopslave’，导致重启后同步位置错乱，又花了十三分钟自动恢复。如果先stopslave，再重启，恢复时间可以缩短到五分钟内。”
运维负责人猛地抬头：“你怎么知道？”
“监控显示从库重启后，’seconds_behind_master’从120秒变成null，然后花了780秒才恢复到0秒。这是典型的未停同步就重启的特征。”贝西克说，“如果你先停了同步，应该显示从负数开始恢复，不会出现null。”
会议室死寂。所有人都看着贝西克，眼神复杂。
“解决方案。”王总打破沉默，“贝西克，你说。”
“三个短期措施。”贝西克说，“第一，立即检查所有数据库主从配置一致性，今天完成。第二，修改变更流程，强制要求主从必须同步变更，否则工单无法关闭。第三，制定从库重启标准操作流程，加入‘stopslave’步骤。”
“长期呢？”
“长期，需要建立配置漂移检测系统，自动监控主从不一致，提前预警。我可以写个脚本，今天下班前能跑起来。”
王总看着李总：“李总，你觉得呢？”
李总点头：“方案可行。西克的观察很细。”
“那就按这个执行。”王总站起来，“老赵，写事故报告，扣本月绩效。运维组，今
（本章未完，请点击下一页继续阅读）