第16章二姨的私信
第16章二姨的私信(第1/6頁)
第16章二姨的私信
周三上午十點,會議室。
項目緊急會議。線上支付係統淩晨發生故障,導致三千萬交易延遲,用戶投訴激增。王總、技術總監李總、產品、測試、運維、開發,二十多人擠在會議室,空氣緊繃。
“誰先說?”王總臉色鐵青。
監控組先彙報:“故障時間淩晨兩點十七分,持續四十六分鐘。直接原因:數據庫主從同步延遲,導致讀寫不一致。”
數據庫負責人老趙立刻說:“我們檢查了,主從同步配置冇問題。是應用層有大量非索引查詢,拖慢了主庫,導致從庫延遲。”
開發組長小陳反駁:“我們上周才優化過查詢,加了三組索引。而且淩晨兩點,哪來的大量查詢?”
運維插話:“監控顯示那個時間點有異常爬蟲流量,可能是被攻擊了。”
安全組搖頭:“不是攻擊,是正常的搜索引擎爬蟲,流量在正常範圍。”
會議開了半小時,各部門互相推諉,冇有結論。貝西克坐在角落,冇說話。他打開筆記本,在紙上畫了一張圖。
時間軸:
02:00-02:15正常
02:15-02:17爬蟲訪問量輕微上升(+15%)
02:17-02:20數據庫主庫cpu從30%升至80%
02:20-02:30從庫延遲從0秒升至120秒
02:30-02:45應用報錯率從0.1%升至5%
02:45-02:50運維重啟從庫
02:50-03:03服務逐漸恢複
他觀察每個人的發言。老趙說話時眼睛向右上方看(回憶),小陳說話時手不自覺地摸後頸(緊張),安全組發言簡潔但語氣猶豫,運維在玩筆。
“安靜!”王總拍桌子,“我要的是解決方案,不是誰的責任!現在告訴我,怎麼避免下次再發生?”
李總提議:“加硬件,擴容數據庫。”
老趙反對:“硬件成本高,而且不治本。要先找到根本原因。”
小陳說:“我建議加強防爬蟲策略,減少無效查詢。”
安全組:“那可能影響seo。”
又陷入爭吵。
貝西克舉手。所有人都看過來。
“你說。”王總皺眉。
“我有個推測。”貝西克翻開筆記本,“故障的直接原因確實是主從延遲,但根本原因不是爬蟲,也不是查詢,是配置變更流程漏洞。”
會議室安靜了。
“什麼配置變更?”老趙問。
“上周五晚上,數據庫組做了一次參數優化,調整了‘binlog_format’從‘row’改為‘mixed’,目的是提升同步效率。但這次變更隻在主庫執行,從庫漏了。導致主從的複製格式不一致,在特定查詢模式(比如全表掃描)下,
(本章未完,請點擊下一頁繼續閱讀)