當洪水、地震等極端災害沖擊數據中心,導致斷電斷網,如何保障核心業(yè)務持續(xù)在線、數據不丟失?

當企業(yè)業(yè)務從單地域走向多地域、從單機房演進到多中心,高可用架構能否平滑升級、靈活擴展,而不必推倒重來?

百度智能云混合云 ABC Stack 高可用方案,以一套可演進架構,應對不同階段業(yè)務連續(xù)性挑戰(zhàn) —— 既能在極端災難中「扛得住」保障業(yè)務和數據安全,也能隨基礎設施升級而「平滑演進」,讓高可用真正成為企業(yè)數字基座的堅實底色。

國內某領先的互聯(lián)網金融科技企業(yè),依托該高可用方案完成了從單機房到兩地三中心的架構演進。在一次因水災導致機房斷電斷網的極端場景下,其核心業(yè)務依然保持平穩(wěn)運行。

1.     百度智能云混合云 ABC Stack 高可用方案:一套架構,平滑演進

企業(yè)級私有云作為承載核心業(yè)務的數字基座,一次系統(tǒng)中斷可能導致千萬級交易損失、用戶流失,甚至引發(fā)監(jiān)管風險。因此,高可用已成為企業(yè)運營的必備能力。

但高可用需求并非一成不變:業(yè)務從單區(qū)域到多地域擴張,風險從單點故障升級為區(qū)域性災難,高可用體系也必須同步成長 —— 從單機房硬件冗余,到同城雙活數據實時同步,再到兩地三中心跨域容災。如每次升級都需重構拓撲、遷移數據,不僅耗費大量人力成本,更會引發(fā)業(yè)務停服,反而放大 「不可用」 風險。因此,企業(yè)需要的不僅是靜態(tài)高可用,更是能具備隨架構演進的動態(tài)、平滑擴展的高可用。

百度智能云混合云 ABC Stack 高可用方案,通過一套統(tǒng)一架構,實現(xiàn)從單機房到多可用區(qū),再到多地域的無縫擴展。其核心是構建一套覆蓋底層基礎設施到上層業(yè)務應用的全維度保障體系,貫穿傳輸、網絡、云平臺和業(yè)務層,實現(xiàn)從單機房、到同城多可用區(qū)(AZ)、再到兩地三中心(多Region)的全階段演進。

例如,當架構從單機房向同城多 AZ、 異地多 Region 演進時,無需調整或重構既有拓撲,只需在 AZ / Region 邊緣建立互聯(lián)通道,通過智能選路實現(xiàn)跨 AZ / Region 流量調度;云服務依托平臺的智能規(guī)劃與彈性擴縮,完成跨 AZ / Region 的動態(tài)重規(guī)劃與重部署,整個過程云平臺保持正常運行,從而實現(xiàn)「業(yè)務無感的高可用平滑升級」。

1.1    三階段演進路徑:平滑升級的全場景落地

百度智能云混合云 ABC Stack 的高可用方案覆蓋企業(yè)私有云全生命周期的不同階段,從起步階段的單機房防護,到業(yè)務擴張后的同城雙活,再到戰(zhàn)略級的異地容災,幫助客戶一步步提升業(yè)務韌性。企業(yè)可根據業(yè)務規(guī)模與預算選擇最合適的起點,未來業(yè)務增長時,無需推倒重來,即可按需升級至更高等級的容災模式。

第一階段:單機房高可用 —— 從起步就筑牢防線

方案目標:在云平臺部署初期,資源有限、業(yè)務集中于單一數據中心。此時,高可用的核心目標是防范單機房的節(jié)點宕機、鏈路中斷等「單點故障」。企業(yè)需要建立穩(wěn)固的容災基線,確保平臺具備持續(xù)承載業(yè)務的能力。

方案設計:構建全冗余機房拓撲。

網絡與傳輸冗余:線路、板卡、設備全冗余,通過「雙平面四路由」、交換機堆疊與 BGP 路由,實現(xiàn)數據通信的高可用切換。

• 服務于實力冗余:云平臺及業(yè)務服務離散部署,無狀態(tài)服務通過負載均衡實現(xiàn)自動調度,有狀態(tài)服務采用主備模型確保單點故障時自動切換。

借助單機房高可用方案,客戶可有效規(guī)避單點故障引發(fā)的系統(tǒng)性風險,即使遇到線路中斷或機柜斷電,業(yè)務仍能持續(xù)穩(wěn)定運行,為企業(yè)后續(xù)升級打下堅實基礎。

第二階段:同城雙活高可用 —— 業(yè)務不中斷,數據不丟失

方案目標:隨著業(yè)務體量提升,企業(yè)在同城多可用區(qū)(AZ)部署云架構,高可用不僅要防范單機房故障,還需實現(xiàn)跨 AZ 的數據實時同步與快速故障切換。

方案設計:構建「2 個業(yè)務 AZ + 1 個仲裁 AZ」的 3 機房雙活架構。

網絡與傳輸冗余:原 AZ1 架構無需調整,新增的 AZ2 和仲裁機房沿用單機房的高可用冗余原則,并在機房間新增冗余的高速專線互聯(lián)。借助 SDN 技術實現(xiàn)流量智能調度,滿足 AZ 內就近訪問和可用區(qū)雙活。

• 服務與實例部署:通過統(tǒng)一云管平臺完成服務和實例的規(guī)劃落位?？鐧C柜部署的 Region 級別服務,利用跨 AZ 遷移能力進一步分散在每一個 AZ 的不同機柜,并通過負載均衡實現(xiàn)業(yè)務雙活。此時,為了保障服務連續(xù)性,借助仲裁機房的獨立仲裁節(jié)點構建分布式共識體系,從而保障主 AZ 故障時快速完成 Region 服務的主節(jié)點選舉。

借助同城雙活方案,即使任一機房因電力或網絡故障失聯(lián),系統(tǒng)可自動切換流量與控制權至健康機房,確保業(yè)務不中斷、數據安全無損,為企業(yè)向更高級別容災升級奠定堅實基礎。

第三階段:異地容災高可用 —— 保障極端場景下的業(yè)務連續(xù)性

方案挑戰(zhàn):為應對地震、洪水等區(qū)域性災難,并滿足監(jiān)管合規(guī)要求,企業(yè)在構建跨地域架構時,高可用的核心目標是實現(xiàn)跨地域的全域容災能力。

方案設計:構建跨區(qū)域(Region)的主備架構。

網絡與傳輸冗余:跨 Region 建立備份鏈路,結合全局域名切換能力,將一個完整 Region 作為災備中心,確保災難發(fā)生時快速切換。

• 服務與實例部署:通過統(tǒng)一云管平臺完成服務和實例的規(guī)劃落位。Global 級別的服務及其數據會被重部署至多 AZ、多 Region 中,由主 Region 提供服務;Region 服務 和 AZ 服務保持原有服務落位,保證主 Region 的每個 AZ 均可提供服務。

借助異地容災方案,當主 Region 整體失效時,全局控制流可自動切換至備 Region,核心業(yè)務數據在異地完整備份,實現(xiàn)快速恢復。該方案不僅保障極端情況下的業(yè)務連續(xù)性,也滿足企業(yè)戰(zhàn)略容災和合規(guī)審計的需求。

1.2    全棧四層協(xié)同:支撐平滑升級的技術內核

該方案依托傳輸、網絡、云平臺與業(yè)務層四層協(xié)同,環(huán)環(huán)相扣,實現(xiàn)增量部署與動態(tài)適配,確保升級無需重構系統(tǒng)和業(yè)務無感。

傳輸層:保障「血脈」通暢
作為承載一切的基礎,傳輸層采用「雙平面四路由」的冗余設計,無論在機房內部還是 AZ / Region 之間,都配備至少兩條獨立物理鏈路。一旦某條光纜意外中斷,備用鏈路可立即接管全部流量,確保通信不中斷,為上層架構提供穩(wěn)定可靠的物理保障。

網絡層:實現(xiàn)智能調度
作為數據流動的「通道」,網絡層基于 SDN 技術構建智能調度體系。通過動態(tài)路由與智能流量牽引,實時為流量提供最優(yōu)路徑,并在故障時快速切換,保障網絡始終高效、可靠運行。

云平臺層:架構核心引擎

作為架構「中樞」,云平臺高可用的核心思想是基于服務分層和服務模型實現(xiàn)云服務的離散部署和動態(tài)落位,從而保障其全生命周期的有效性和連續(xù)性。

服務分層:服務分層決定云服務在云內部署時的覆蓋范圍。根據云服務的作用域及數據一致性等要求,將其劃分為 Global、Region、AZ 三個服務級別,該服務級別伴隨云服務的整個生命周期,在云擴建時,不同級別云服務的擴展部署范圍不同,以此實現(xiàn)高可用能力和資源效率的最佳平衡。

例如,IAM 鑒權、計費等全局服務屬于 Global 級別,需要實現(xiàn)全局(即整個云內全局)范圍的高可用,當云架構擴建時,此類服務及其數據勢必需要擴展覆蓋至云內全局,并始終保持數據的實時同步,以便在故障時快速切換;而計算實例等資源類服務的作用范圍僅在 AZ 內,屬于 AZ 級別服務,需要實現(xiàn) AZ 范圍內的高可用,無需擴展至全局。

服務模型:服務模型決定了云服務在不同作用域內的部署落位。云服務按照架構模型和狀態(tài)模型進行部署,其內部角色需在作用域內進行跨節(jié)點、跨機柜、跨交換機、甚至跨 AZ / Region 的離散落位,以避免單點風險,實現(xiàn)穩(wěn)定運行。

業(yè)務層:無縫銜接上層需求

業(yè)務層的高可用設計聚焦于算力調度、流量切換和數據同步三方面,確保業(yè)務及其關鍵數據能夠隨著云架構的變化而靈活調整資源落位并提供服務。通過這一機制,業(yè)務在擴展、遷移或切換過程中始終保持連續(xù)性與穩(wěn)定性,實現(xiàn)業(yè)務高可用。

在算力調度方面,業(yè)務層通過多實例的離散部署,實現(xiàn)業(yè)務實例跨節(jié)點、跨機柜、跨交換機乃至跨 AZ 的分布式落位,從而保障業(yè)務在不同范圍的單點故障下仍具備高可用能力。這一點與云服務的離散部署理念一致,都是通過跨域分布來提升業(yè)務韌性。

在流量切換方面,業(yè)務可依托百度智能云提供的跨 AZ 負載均衡與健康探測機制,在檢測到異常時自動完成 AZ 級別的流量切換,確保業(yè)務不中斷。

在數據同步方面,百度智能云提供覆蓋數據庫、云主機文件系統(tǒng)和存儲集群的全方位數據高可用方案,以滿足不同業(yè)務場景需求。

在關鍵業(yè)務中,客戶可依托 DTS 數據傳輸服務實現(xiàn)跨域主備數據庫的實時數據同步,并通過對等連接將跨域的云主機進行網絡打通而實現(xiàn)云主機的在線數據同步。當災難發(fā)生時,這類業(yè)務流量可以實現(xiàn)業(yè)務無感的瞬時切換。

而針對一般業(yè)務場景,客戶則可采用離線同步和恢復機制,例如通過跨域 volume 復制、跨 bucket 復制實現(xiàn)快照與鏡像備份,當災難發(fā)生時,在拉起云資源的同時即可完成數據恢復,確保業(yè)務快速回歸。

2.     某金融企業(yè)的高可用架構演進實踐

2.1    三階段演進:從基礎冗余到金融級容災的層級躍升

作為國內領先的互聯(lián)網金融科技企業(yè),客戶 D 的業(yè)務覆蓋信貸、理財、支付等核心金融場景,服務超數億用戶。伴隨業(yè)務高速擴張,其私有云架構完成從單機房集中部署到「兩地三中心」的架構演進,全棧高可用體系實現(xiàn)「從抵御單點硬件故障」到「抵御區(qū)域級災難」的全場景容災突破,達成 RPO≈0(數據零丟失) 與秒級 RTO(業(yè)務秒級恢復) 的金融級容災能力。

回溯架構演進歷程,客戶 D 的高可用體系建設并非一蹴而就,而是通過兩次關鍵能力躍升,逐步構建金融級全場景容災:

第一次躍升:從單可用區(qū)到同城三可用區(qū),筑牢同城容災基礎

客戶 D 在云平臺初建階段采用單可用區(qū)(AZ)架構,服務與流量集中于同一數據中心。雖滿足初期需求,但單機房故障可能引發(fā)的業(yè)務中斷風險,始終是技術團隊重點關注的問題。

為破解這一痛點,基礎設施技術團隊迅速啟動雙可用區(qū)改造,并突破性引入當時行業(yè)內尚未廣泛應用的「仲裁可用區(qū)」機制 —— 通過「雙活可用區(qū)承載業(yè)務流量 + 仲裁可用區(qū)保障數據一致性與故障決策」的協(xié)同模式,構建「雙活 + 仲裁」三可用區(qū)架構,將容災能力從「抵御單點硬件故障」升級至「抵御同城機房級故障」,具備同城級容災能力。

第二次躍升:從同城容災到跨區(qū)域容災,落地金融級「雙城三中心」

隨著金融監(jiān)管對業(yè)務連續(xù)性要求的不斷提升,以及極端自然災害(如地震、洪水)等區(qū)域級風險的應對需求,客戶 D 啟動跨區(qū)域(Region)容災建設。

通過將核心業(yè)務系統(tǒng)、數據同步部署于兩個地理隔離的區(qū)域,搭配實時數據同步與毫秒級流量切換,全面覆蓋城市級、區(qū)域級故障 —— 任一區(qū)域遭遇極端災害,備用系統(tǒng)可即時接管業(yè)務,確保服務不中斷、數據不丟失。此次升級標志著客戶 D 正式建成金融級「雙城三中心」高可用體系,容災能力達到行業(yè)頂尖水平。

2.2    實戰(zhàn)檢驗:極端水災中的韌性表現(xiàn)與能力升級

多年前的一次華北特大水災中,客戶 D 的機房因進水導致電力設施損毀,全機房斷電斷網,在此極端災難下,基于百度智能云混合云 ABC Stack 高可用方案搭建的容災機制瞬間啟動 —— 業(yè)務、數據、云服務等瞬時由異地機房順利承接,核心業(yè)務全程零中斷,信貸、理財、支付等服務始終平穩(wěn)運行,不僅成功抵御了突發(fā)災害沖擊,更以實際表現(xiàn)驗證了架構設計的可靠性。

洪水過境后,基于預先建立的「全鏈路服務觀測與可用性驗證體系」和「常態(tài)化容災演練與應急預案」,百度智能云第一時間響應:一方面依托平臺的可觀測性與彈性能力快速完成擴縮容,保障業(yè)務流量平穩(wěn)承接;另一方面高效推進受損機房的服務恢復,最大程度降低故障影響。

3.     結語

真正的高可用,不只是能抗住今天的挑戰(zhàn),更是保障企業(yè)未來每一次演進都能從容前行。百度智能云混合云 ABC Stack 高可用方案,從平臺建設初期就采用統(tǒng)一架構,幫助客戶輕松完成高可用升級 —— 從單機房到同城雙活,再到兩地三中心,全程無需重構拓撲、不中斷核心業(yè)務,按需擴展即可,讓高可用升級不再是難題。