Netflix 如何在 7 分鐘內做到故障轉移(failovers)

2012 年冬季, Netflix 經歷了 1 次慘痛的服務中斷事故(outage),該次事故持續 7 個小時後才解決,為了讓這種重大事故不再發生, Netflix 做了架構的變更,並建構故障轉移(failovers)的系統。

故障轉移的定義是:

Failover is a method of protecting computer systems from failure in which standby equipment automatically takes over when the main system fails.

簡單來說,就是要有所謂的備援機制/系統,當主要系統炸了,要讓備援上場救援(也就是喊支援啦

Failovers 經典作法如下:

  1. 從原本單一區域(region)改為多個區域提供服務, Netflix 從 1 個變 3 個
  2. 當發生問題時,要先定位出是哪個區域出事, Netflix 用的指標是每秒使用者開始串流的數量,每個服務其實都應該要有類似的指標作為參考
  3. 把正常的區域 scale up 上去,準備承接出事區域原本的流量
  4. 把出事區域的流量導至正常的區域,這時架構裡有個好用的 proxy service 就特別重要, Netflix 用的是 Zuul
  5. 更新 DNS 紀錄,隔離出事的區域

不過即使改成這樣, Netflix 統計大概也要花 35 - 45 分鐘才能完成(災難演練的價值之一是能夠預估團隊需要多久才能災難復原),他們想要壓在 10 分鐘內完成,所以他們最終的做法是為服務準備一個 shadow cluster ,該 cluster 平時不提供服務,只有當問題發生時,才會將 shadow cluster 放進 live cluster 提供服務,如此一來可以節省前述做法的第 3 與第 4 步驟的成本與時間,還能夠不增加額外的預算,最終他們只花了 3 個工程師用 Python 就做到這件事,狂!

How Netflix does failovers in 7 minutes flat

FOLLOW US

對抗久坐職業傷害

研究指出每天增加 2 小時坐著的時間,會增加大腸癌、心臟疾病、肺癌的風險,也造成肩頸、腰背疼痛等常見問題。

然而對抗這些問題,卻只需要工作時定期休息跟伸展身體即可!

你想輕鬆改變現狀嗎?試試看我們的 PomodoRoll 番茄鐘吧! PomodoRoll 番茄鐘會根據你所設定的專注時間,定期建議你 1 項辦公族適用的伸展運動,幫助你打敗久坐所帶來的傷害!

贊助我們的創作

看完這篇文章了嗎? 休息一下,喝杯咖啡吧!

如果你覺得 MyApollo 有讓你獲得實用的資訊,希望能看到更多的技術分享,邀請你贊助我們一杯咖啡,讓我們有更多的動力與精力繼續提供高品質的文章,感謝你的支持!