Netflix 如何在 7 分鐘內做到故障轉移(failovers)
覺得我們的內容實用嗎？ MyApollo 電子報讀者募集中！歡迎訂閱電子報!
2012 年冬季， Netflix 經歷了 1 次慘痛的服務中斷事故(outage)，該次事故持續 7 個小時後才解決，為了讓這種重大事故不再發生， Netflix 做了架構的變更，並建構故障轉移(failovers)的系統。
故障轉移的定義是：
Failover is a method of protecting computer systems from failure in which standby equipment automatically takes over when the main system fails.
簡單來說，就是要有所謂的備援機制/系統，當主要系統炸了，要讓備援上場救援（也就是喊支援啦
Failovers 經典作法如下：
- 從原本單一區域(region)改為多個區域提供服務， Netflix 從 1 個變 3 個
- 當發生問題時，要先定位出是哪個區域出事， Netflix 用的指標是每秒使用者開始串流的數量，每個服務其實都應該要有類似的指標作為參考
- 把正常的區域 scale up 上去，準備承接出事區域原本的流量
- 把出事區域的流量導至正常的區域，這時架構裡有個好用的 proxy service 就特別重要， Netflix 用的是 Zuul
- 更新 DNS 紀錄，隔離出事的區域
不過即使改成這樣， Netflix 統計大概也要花 35 - 45 分鐘才能完成（災難演練的價值之一是能夠預估團隊需要多久才能災難復原），他們想要壓在 10 分鐘內完成，所以他們最終的做法是為服務準備一個 shadow cluster ，該 cluster 平時不提供服務，只有當問題發生時，才會將 shadow cluster 放進 live cluster 提供服務，如此一來可以節省前述做法的第 3 與第 4 步驟的成本與時間，還能夠不增加額外的預算，最終他們只花了 3 個工程師用 Python 就做到這件事，狂！
