新華社記者朱基釵、丁小溪 人民日報記者桂從路

這一刻，山河肅穆，天地含悲。

這一幕，哀思綿綿，緬懷無盡。

2022年12月6日上午，首都北京，人民大會堂。

習近平總書記等黨和國家領導人同各界代表5000人肅立，沉痛悼念敬愛的江澤民同志。

“我們愛戴江澤民同志，懷念江澤民同志，是因為他把畢生心血和精力都獻給了中國人民，為爭取民族獨立、人民解放和實現國家富強、人民幸福鞠躬盡瘁、奮斗終身。”習近平總書記致的悼詞，在人民大會堂里久久回蕩，在億萬人民心間久久回蕩。

冬月的天安門廣場，寒風凜凜。

上午7時21分，五星紅旗伴著雄壯的《義勇軍進行曲》升至頂端后，又緩緩降下。

今天，全國下半旗志哀。今天，一切公共娛樂活動停止。

悼念的人群，從四面八方趕來。中央和國家機關各部門的代表來了，全國各省區市的代表來了，解放軍和武警部隊的官兵代表來了，江澤民同志的生前友好和家鄉代表來了……

他們步履沉重，緩步登上大會堂東門外的臺階，胸前佩戴的白花，在寒風中搖動。

“作為四百多萬揚州人民的代表，我來送敬愛的江澤民同志最后一程?！睖I水，在揚州市人大常委會原副主任王敏的眼角涌動，“還記著江澤民同志退休后回鄉探親的一幕幕，耳邊似乎還響著那爽朗的笑聲。家鄉人民懷念這位‘老街坊’，他永遠活在我們心中。”

白花如雪，挽詞如泣。

人民大會堂中央大廳和大禮堂內四周擺滿了花圈，深情訴說著全黨全軍全國各族人民的無盡哀思。

會場莊嚴，挽幛靜垂。

主席臺正中，懸掛著江澤民同志的巨幅彩色遺像。江澤民同志的骨灰盒安放在鮮花翠柏叢中。上面覆蓋的鮮紅黨旗熠熠生輝，詮釋著一位偉大的馬克思主義者，對共產主義的堅定追求。

上午9時55分，習近平總書記等黨和國家領導同志神情凝重，緩步來到大禮堂，同全場一道面向主席臺肅立。

偌大的禮堂，靜默無聲。

10時整，追悼大會開始。低回的哀樂聲響起，全場默哀3分鐘。

神州大地，舉國同悲。哀樂聲通過電波，傳遍大江南北、長城內外，傳到雪域高原、林海大漠、邊防哨所，傳至遼闊土地上的機關、工廠、學校、商店、街道社區……

黃浦江上，汽笛聲劃破長空，浦江兩岸沉浸在悲慟中。

上海益民食品一廠有限公司的職工代表們胸佩白花、臂戴黑紗，為“老廠長”默哀。

“老廠長，一路走好！您的業績深深印刻在一代代益民人心里。您工作中與時俱進、勇于創新的品格，永遠激勵我們不斷前進?！鄙a部經理馬店聲音哽咽。

“全黨全軍全國各族人民，為失去了江澤民同志這樣一位偉大人物感到無限悲痛，世界各國人民、各國領導人和各方面國際友人也表示深切哀悼。”在全場凝重的氣氛中，習近平總書記致悼詞，深切緬懷江澤民同志的豐功偉績和崇高風范。

時間忠實銘記，江澤民同志偉大光輝的一生。

少時親歷家國淪喪，立志追求真理，積極投身人民革命運動洪流；新中國成立后，先后在企業、科研單位、國家部委工作，從上海應調北上長春，遠赴莫斯科實習，回到上海，西調武漢，進京任職，又回上海主政一方，1989年當選中共中央總書記……

“1946年4月加入中國共產黨，從此把畢生精力獻給了黨和人民”“在每個崗位上他都盡職盡責、艱苦努力，把火熱年華獻給了社會主義革命和建設事業，在改革開放方面做了大量開拓性工作”，習近平總書記在悼詞中深情地說。

96載人生歲月，70多年革命生涯，江澤民同志的一生同黨和國家命運緊密交織，見證了中華民族從屈辱走向復興的世紀征程。

置身會場，回憶當年激情燃燒的歲月，89歲高齡的長春第一汽車制造廠原職工劉人偉百感交集：“江澤民同志把美好的青春年華奉獻給了一汽。他為新中國汽車工業和東北老工業基地建設傾注了大量心血，帶領群眾艱苦創業，為國家奉獻了一生。”

歷史不會忘記，江澤民同志永不磨滅的功勛。

“茍利國家生死以，豈因禍福避趨之。”一幅江澤民同志言明心志的書法作品照片，連日來在互聯網上被廣泛轉載。

在悼詞中，習近平總書記指出：“江澤民同志擔任黨和軍隊主要領導職務之際，我國正面臨外有壓力、內有困難的嚴重時刻，可謂臨危受命。江澤民同志堅定表示：‘為了黨和人民的事業，我一定鞠躬盡瘁、死而后已?！?/p>

從黨的十三屆四中全會到黨的十六大的13年中，國際形勢風云變幻，我國改革開放和社會主義現代化建設進程波瀾壯闊。

確立社會主義市場經濟體制的改革目標和基本框架，加入世界貿易組織，實施依法治國基本方略，實現香港、澳門回歸，北京申奧成功，成立上海合作組織，推進黨的建設新的偉大工程，推進中國特色軍事變革……

“黨的十三屆四中全會以后13年黨和國家取得的巨大成就，同江澤民同志的雄才大略、關鍵作用、高超政治領導藝術是分不開的?！钡吭~的高度評價，是已被歷史所證明的結論。

人民永遠緬懷，江澤民同志崇高的品格風范。

千里之外，湖北武漢一棟居民樓內，荊州市委原書記劉克毅在家中凝神收看追悼大會直播。

“從容應對一系列關系我國主權和安全的國際突發事件，戰勝在政治、經濟領域和自然界出現的困難和風險，特別是領導我們成功抵御亞洲金融危機沖擊、戰勝1998年特大洪澇災害等……”

當聽到習近平總書記致的悼詞中這句話時，劉克毅的思緒又飛回24年前，“那是1998年8月13日，正當長江第五次洪峰向中下游推進的關鍵時刻，江澤民同志在洪湖市烏林鎮中沙角險段大堤上，手持擴音喇叭動情地鼓勵正在抗洪搶險的軍民，誓奪抗洪搶險斗爭的最后勝利?！?/p>

“目光遠大、審時度勢”“信念堅定、處事果斷”“尊重實踐、與時俱進”“尊重群眾、關心群眾”——江澤民同志鮮明的革命精神和革命風范，永遠銘刻在我們心中，永遠教育和激勵我們前進。

大洋彼岸，美國紐約。

美國中國問題專家羅伯特·庫恩通過網絡同步收看直播，書架上擺放著一本自己的著作《他改變了中國：江澤民傳》。

“我感到自己與北京現場的人們心情是一樣的，都感到非常難過?！睅於鞅硎荆拔磥淼臍v史學家在回望歷史時，將會把江澤民擔任中國黨和國家領導人的時期定為中國堅持和推進改革開放的時期?！?/p>

中華民族的偉大復興事業，凝結了包括江澤民同志在內的一代又一代中國共產黨人的心血和奮斗。

心中的悲痛，化為行動的力量。

大禮堂三樓眺臺上，黑底黃邊白字的巨型橫幅，傳遞著億萬人民的共同意志：“在以習近平同志為核心的黨中央領導下，繼承江澤民同志的遺志，把新時代中國特色社會主義偉大事業推向前進！”

繼承遺志、繼續奮斗。在悼詞中，習近平總書記指明新征程上的奮進方向——

“我們一定要堅持把馬克思主義基本原理同中國具體實際相結合、同中華優秀傳統文化相結合”；

“我們一定要保持‘趕考’的清醒和堅定，增強‘四個意識’、堅定‘四個自信’、做到‘兩個維護’”；

“我們一定要堅持中國特色社會主義道路，堅持黨的基本理論、基本路線、基本方略”；

“我們一定要堅持人民至上，全心全意為人民服務，貫徹以人民為中心的發展思想”；

“我們一定要準確識變、科學應變、主動求變，貫徹新發展理念，構建新發展格局，推動高質量發展”；

“我們一定要堅持胸懷天下，高舉和平、發展、合作、共贏旗幟”；

“我們一定要保持只爭朝夕、奮發有為的奮斗姿態和越是艱險越向前的斗爭精神”……

深切緬懷，為了更有力地前行。

上海交通大學校園里，一束束鮮花和手寫的卡片寄托著青年學子的哀思。在閔行校區文博樓一樓會場，近百名師生代表神情凝重，聆聽習近平總書記致悼詞。

電子信息與電氣工程學院學生楊大力的手機里，收藏著江澤民同志當年在交大學報上發表的論文《新時期我國信息技術產業的發展》?！拔覀円^承老學長的遺志，學習老學長的精神，化悲痛為力量，在學術研究領域攻堅克難、矢志創新，以青春之我逐夢偉大時代，為黨和國家事業貢獻智慧和力量?！?/p>

致悼詞50多分鐘，全場靜默無聲。

在致悼詞的最后，習近平總書記的話語深沉而堅定——

“江澤民同志同我們永別了。他的英名、業績、思想、風范將永載史冊，世世代代銘刻在人民心中。全黨全軍全國各族人民要更加緊密地團結在黨中央周圍，踔厲奮發、勇毅前行，為全面建設社會主義現代化國家、全面推進中華民族偉大復興而團結奮斗?！?/p>

全場向江澤民同志深深三鞠躬。習近平總書記等黨和國家領導同志走向江澤民同志的夫人王冶坪和親屬，表示最深切的慰問。

雄壯的《國際歌》，在人民大會堂內回響。

我們的夢想，必將在一代又一代共產黨人的接續奮斗中成為現實。

用丨研究報告

導語：

*本報告為艾瑞咨詢和神州云科、通明湖云和信創研究院、通明智云聯合發布。

在數字化時代的今天，應用可持續性不僅在一般商業領域與經濟效益直接相關，而且在公共服務領域關系國計民生。然而，在用戶數量、網絡流量不斷增加，應用復雜程度不斷增加，IT 軟硬件技術快速更新迭代的整體背景下，應用可持續性的落地面臨系列挑戰。對此，本報告提出應用可持續性架構，對該架構的設計思想、特征以及驗證指標體系進行了詳細說明。

本報告內容著眼于應用可持續性架構，分為五個章節：第一章節闡釋了應用可持續性的概念、發展背景以及在商業與公共服務領域的價值；第二章節對應用可持續性落地過程中面臨的敏捷、信創和疫情等挑戰進行了說明；第三章節描述了以抽象與分層、不同層解耦、同層節點冗余、替換、水平擴展與異構、中間層和核心節點的穩定性保障以及持久化存儲且共享為要點的應用可持續性架構設計思想，并描述了跨域協同與平滑遷移、多協議支持、與現代高可用架構無縫對接、可觀測性和分析、負載可編排、主動韌性、開放與集成等應用可持續性架構的特征；第四章節從性能測試、基礎功能測試、超高可用架構場景測試和管理功能測試等維度詳細說明了應用可持續性架構的驗證指標體系；第五章節則對未來應用可持續性的發展方向進行了展望。

應用可持續性概述

應用可持續是指企業利用IT資源，保障應用穩定運行，可持續地滿足客戶的需求與期望。應用可持續與高可用的聯系與區別在于：高可用是應用可持續的必要非充分條件，而應用可持續不僅包括了基礎設施側的穩定性，還包括了用戶側的體驗，是更為嚴苛的要求。

需要強調的是，隨著敏捷開發、CI/CD、DevOps等理念的興起與逐漸落地，應用可持續實際上需要在敏態中完成。比如，A/B測試、灰度發布時，業務應是平滑的，客戶是無感知的。

應用可持續性架構，是指為了滿足應用可持續，而采用的系統的、整體的IT架構，主要通過全生命周期健康檢查與可觀測、雙活雙軌、動態負載、主動韌性等手段，來擺脫對個別產品穩定性以及對個別運維人員的強依賴。應用可持續性架構，可以看作是軟件工程思想在IT運維領域的具體實踐。

應用可持續性架構驗證，是指客戶在選擇應用可持續性架構及產品時，進行驗證的方法論和具體指標。

應用可持續性背景

中國數字經濟迅速發展

2016-2021年，中國數字經濟發展取得新突破，數字經濟規模實現翻倍增長。2021年中國數字經濟規模由2016年的22.6 萬億元增加至 39.2 萬億元，數字經濟增加值占GDP 比重由 30.3% 上升至 39.8%?！皵底种袊苯ㄔO不斷推進，在推動經濟高質量發展、構建新發展格局中發揮了重要作用。

在數字經濟迅速發展背景下，技術進步、數字適老化及信息無障礙服務持續完善等因素驅動我國網民規模穩步增長。根據《第50次中國互聯網絡發展狀況統計報告》，截至2022年6月，我國網民規模為 10.51 億，互聯網普及率達 74.4%，較2021年12月提升 1.4個百分點。其中，手機網民規模為 10.47 億，同比增長約4%。

隨著數字化進程加快及互聯網、移動互聯網等信息通信技術的更迭，我國數據量呈爆發式增長態勢。2020年我國年數據量為 12 ZB，占全球數據量 24%，預計到2030年數據量將增長至175 ZB，年復合增長率約 30.7%，占全球數據量比重將上升至 29%。數字時代已然到來。

數字經濟和數據量的快速增長，使得應用可持續性的重要性得到提升，原來作為輔助的數字世界和物理世界變得同樣重要，而近幾年的新冠疫情，使得數字的重要性進一步得到提升。另外，數字經濟和數據量的快速增長，也使得應用可持續性面臨前所未有的挑戰：一方面原有的軟硬件產品和架構難以承擔數據量的爆炸式增長，而另一方面在老新遷移的過程中要求業務不能中斷。

產業數字化進入了深水區

產業數字化是在滿足原有產業組成結構的前提下，傳統產業通過數字技術進行升級改造或將數字技術應用至現有產業中，從而為產業帶來產值增加和效率提升。

近年來數字技術不斷賦能傳統行業產能增長，我國數字經濟與實體經濟融合發展也漸入佳境，作為推動數字經濟發展的主動力，產業數字化在數字經濟結構的比重連年上漲。根據《中國數字經濟發展白皮書（2022）》數據，產業數字化較數字產業化始終占據絕對優勢，2021年產業數字化占數字經濟比重達到80.9%，同比增加0.7個百分點，較2017年上漲3.9個百分點，我國產業數字化的轉型持續往縱深發展。

產業數字化的主體是傳統行業，相比于互聯網等原生數字行業，IT人員占比更少，技術水平更低。IT也往往非其業務本身，而往往是保障性環節，因此，不可能無限制地增加開支。這些也都要求不能完全依賴于開發、運維人員本身的IT素養，而需要以更加健壯、簡潔的架構，來保障應用的可持續性。

應用可持續性價值

應用故障為企業帶來直接經濟損失

在數字化時代的今天，應用的穩定性和可持續性變得極為重要。早在2018年，保險公司勞合社與風險建模公司AIR Worldwide就聯合發布了一份報告，預測了主要云服務器出現故障后可能帶來的損失。報告表明，如果三大云供應商（Amazon，Google，Microsoft）發生一起3~6天的云故障，將導致190億美元的損失。2021年10月4日，Facebook長達6小時的宕機，直接導致其股價暴跌6%。

除長時間宕機影響較大外，短時間的訪問延遲，也會影響用戶體驗，并進一步帶來經濟損失。數據表明：74%的用戶會離開5秒內未能打開的網站；86%的用戶會卸載出現過3次以上性能問題的應用。以上，還僅是在一般的社交、電商等領域，而在證券等領域，對延遲更為敏感，對可持續性要求更為嚴格。

敏捷挑戰

業務開發和運維支撐，本身需求就是天然相悖的。極端來說，研發部門想要：“隨時隨地發布新功能，沒有任何阻攔”，而運維部門則想要：“一旦一個東西在生產環境中正常工作了，就不要再進行任何改動?！庇捎趦蓚€部門使用的語境不同，對風險的定義也不一致。在現實生活中，公司內部這兩股力量只能用最傳統的政治斗爭方式來保障各自的利益。運維團隊常常宣稱，任何變更上線前必須經過由運維團隊制定的流程，這有助于避免事故的發生。例如：運維團隊會列出一個非常長的檢查清單，歷數所有以前曾經出現過的生產事故，要求研發團隊在上線任何功能之前必須將所有這些事故模擬一遍，確保不會重現。這個清單通常沒有任何標準，每項事故的可重現程度、問題價值并不一定是一致的。而開發團隊吃過苦頭之后也很快找到了自己的應對辦法：開發團隊宣稱他們不再進行大規模的程序更新，而是逐漸轉為功能開關調整、增量更新，以及補丁化。采用這些名詞的唯一目的，就是為了繞過運維部門設立的各種流程，從而能更快地上線新功能。

除以上人的因素外，軟硬件的利舊和業務需求以及技術本身的飛速發展，也是一對穩與敏的矛盾。以銀行業為例，國有銀行和股份制銀行普遍建設有動輒幾十億甚至上百億的數據中心，并在軟硬件資源上具有大量投資，它們不可能拋棄歷史，直接做架構的硬切換，比如，即使不考慮安全、可控等要素，它們也不可能直接切換到公有云。與此同時，在互聯網時代成長起來的客戶，卻迫使銀行的業務側增加了大量新的需求，比如小額支付、活動促銷、秒殺等。在需求增加的同時，新技術也層出不窮，Docker在2013年開源，Kubernetes在2014年開源，而如今，它們已經是互聯網領域的主流技術，另外，NGINX、Istio、Opentelemetry、Prometheus、Grafana、MongoDB、Redis、TiDB、OceanBase等開源技術也不斷降低開發運維難度、提升業務的敏捷性，并降低企業的運營成本。但是，這些新技術沒有經歷足夠長時間的檢驗，并且個別點可能也不符合合規性要求。此時，銀行便有了“既要跟上新技術，又要不直接放棄已有的數據中心和軟硬件，還要穩定、合規，不出現閃失”的復雜性挑戰。

信創挑戰

在業務需求和新技術均快速變化的同時，信創也為金融、能源等企業的IT系統引入了新的復雜性。信創，即信息技術應用創新，是我國企業為了應對國外技術限制（如美國“實體清單”）而自發組織的國產替代行為。

我國的信創，大致可以分為四個階段：第一階段，大致為1999-2010年，當時僅可做到單品可用，以及面向特定場景，解決了有無的問題。第二階段，大致為2011-2013年，該階段做到了系統可用和成體系試用，尤其是在辦公自動化和經營管理類等系統中。第三階段，大致為2014-2017年，當時疊加互聯網企業的去IOE浪潮，開始向基礎領域演進，此階段實現了基本可用到好用。第四階段，在2018年之后，在多場景中開始規模化應用。

不過，在信創的高速發展中，仍面臨著業務連續性、業務創新和安全防范的挑戰。目前，在我國的諸多強IT依賴行業中，英特爾、英偉達、甲骨文、IBM、戴爾、威睿、紅帽、SUSE、F5等海外公司，各自在不同領域，為客戶提供穩定的產品和優質的服務，而國內對應產品良莠不齊，平均水平跟這些公司還有一定差距。

因此，我們應正視差距，并設立科學、嚴謹的驗證標準：首先，在業務連續性方面，應設立各環節產品、服務的完整、科學的驗證標準，在一個相對穩定的架構下先小規模試驗、改進、扶持，動態調整信創業務比例，穩步擴大信創覆蓋范圍，面對業務不確定性，應可秒級恢復業務，并排除故障，找出故障原因。其次，在安全防護方面，面對黑客無差別攻擊，需提高安全網關性能及可靠性，并采用異構能力，提高系統的對抗能力。再次，在業務創新方面，應積極地擁抱分布式、微服務等新興架構以及開源生態，但又要通過鏡像掃描、代碼審計等，降低因開源帶來的風險。

疫情挑戰

受疫情影響，IT基礎設施線下運維、巡檢人員減少。疫情期間，為了避免聚集，運維領域出現了許多工作“新常態”，例如不少數據中心都采用AB崗輪班制、核心崗最小化辦公或是工作方式轉至“遠距離、不接觸”的線上辦公模式，采取現場封閉辦公、居家協同形式，到崗率從原先的 100% 精簡到 50%，甚至不到10%。不少原來依賴于原廠運維或第三方運維的客戶，為了避免人員的流動，降低人員感染風險，也在一定程度上失去外援，“孤軍奮戰”。

而與此同時，互聯網流量陡然增長。由于疫情反復無常，大眾的辦公、金融、醫療等生產、生活的各個方面，對線上、對網絡的依賴程度明顯增加，整個社會轉入線上運行的趨勢陡然加速，互聯網流量也由此以倍數級大幅提升。根據國家發改委，2022年1-6月我國移動互聯網累計流量達 1241 億GB，較 2021 年 1-6 月的 1033 億GB增長 208 億GB，同比增長約 20.1%。

線下運維、巡檢人員的減少和互聯網流量的陡然增長對服務器計算、存儲和網絡的水平擴展以及應用可持續性帶來了新的需求與挑戰。IT基礎設施管理人員對停電或極端天氣事件等各種災難有比較明確的應急預案，但前所未有的新冠疫情為數據中心等基礎設施的部署和運維工作提出了更高的要求，諸多挑戰“躍然紙上”，亟待解決。例如，如何確保系統安全維護始終在線？當遇到大并發的外網訪問時，如何對遠程辦公下的業務系統應用做好統一監控？當出現高流量訪問引發系統卡頓和事件告警時，如何在海量數據中快速查找問題原因，保障運維效率？等等。

應用可持續性架構設計思想

抽象與分層

完整的業務應用需求傳遞鏈條為：用戶/客戶→公司業務側→公司業務開發側→運維側，在單體架構以及瀑布流式開發中，這種需求的變動，缺乏在任何一層“消化”掉的能力，而是一傳到底，因此，業務之敏和基礎設施之穩成為矛盾。

而從另一個視角來看，當把業務看作穩態時（假定業務需求一成不變），基礎設施側也并不能保證一成不變，數據中心需要擴容，存儲、計算、網絡設備需要淘汰和更新換代。在早期，往往通過深夜停服等方式來進行，但隨著人們對IT依賴程度的逐漸加深，這種方式可行性越來越低，基礎設施之敏和業務之穩也成為矛盾。

也就是，鏈條的兩側，其實均不關心對方具體發生了哪些變化，只關心給自己帶來了什么變化，并希望自己可自由變化。此時，便需要一個中間層，來將雙方的變化相互“翻譯”。這種“翻譯”的過程就是抽象的過程，而中間層誕生，就是分層。

在IT架構中，負載均衡、容器編排、數據中臺等，都是這種抽象與分層而產生的中間層，只是應用的場景不同。

不同層解耦

當中間層一旦產生，中間層的上下便會變得簡單而自由起來。所有共性的東西，每個節點一律不再關心，因為中間平臺層已經實現；與上下其他N多節點之間的對接，每個節點也不再關心，因為中間平臺層已完成“翻譯”和對接，原來復雜的乘積關系變成了只與中間層對接的加和關系。

這一相對統一的中間層，由于作用如此重要，因此往往成為業界事實上的標準，也往往成為“兵家”必爭之地，Kubernetes、Marathon（Mesos）、Swarm之爭便是如此。一旦其中一種真正勝出，標準便相對統一起來，上下層短時間之內會出現大繁榮。平臺意義的中間層，被取代相對緩慢，即使在日新月異的IT界也是如此，這也就讓穩態和敏態的結合有了抓手。當然，在實際中，往往存在多個類似意義的中間層，比如在應用可持續中，應用交付網絡/負載均衡可以看作第一個中間層，其可一部分流量分給傳統虛機，另一部分流量分給容器云，而在容器云中Kubernetes/Openshift又可作為第二個中間層。

同層節點冗余、替換、水平擴展與異構

一旦實現了抽象與分層、不同層解耦，那么中間層也就成為了IT架構的核心，只要它是相對穩定的，上下層的變化便可在該層“消化”掉，也即上層的變化不影響下層，下層的變化也不影響上層，這是穩態與敏態能夠統一起來，也是應用可持續性的關鍵所在。上下層的節點作用被降低，平行節點間可冗余、可替換、可水平擴展、可異構。

其實，藍綠發布、灰度發布、A/B測試等，均是利用的節點間可自由替換的特性實現的，只不過其往往是以相同的基礎設施節點來運行不同的應用（版本），而上云、信創替代，則可用不同的基礎設施來運行相同的應用。

中間層和核心節點的穩定性保障

在以上架構中，有一個顯而易見的問題是，并沒有考慮中間層和核心節點出現故障的情況，如果DNS解析節點、核心負載均衡器、容器編排平臺等出現故障。核心節點或核心中間層的可用性一般通過以下手段進行保障。

（1）節點本身穩定

生產系統中的核心節點一般采用成熟、穩定、久經考驗的產品和技術，并且版本升級策略一般也相對保守。例如：硬件方面，成熟的SLB、ADC設備均具有非常強的穩定性與可靠性。軟件方面：Kubernetes在2016年便有大量企業進行嘗試，但真正將其布到生產系統中則大多發生在2019年前后；NGINX，從其誕生到在各企業中廣泛應用，經歷了十幾年時間，而為了保證穩定性，其支持HTTP3協議的NGINX-QUIC很長時間單獨存在，直到現在仍未合并到NGINX主干中。

（2）輕負載，只做核心任務

由于核心節點具有全局性意義，其穩定的性能往往比豐富的功能更加重要，因此，普遍的一種做法是只讓其承擔調度和控制層面的事項，并不承擔具體的工作任務。例如，四層負載，只負責流量轉發，TCP的三次握手等直接分發到七層負載或應用節點。再比如，在不少銀行中，SSL卸載不再放入負載均衡設備中，而是前后各一層負載均衡，中間一層SSL卸載，構成三明治結構。還比如，在早期的服務網格MOSN中，讓Sidecar承擔更多負載，而減少對中心節點的依賴。

（3）冗余

冗余，即主從架構。對于核心節點，比如負載均衡設備，一般均采用冗余的方式，來保障系統的高可用。負載設備本身之間的冗余可用VIP地址漂移來實現，也即只有一臺物理設備來占用IP，當該物理設備出現故障，IP漂移到其他健康物理設備。

（4）產生新主節點

產生新主節點，即集群架構。如果主節點并非采用專用設備，那么在主節點出現故障時，自動根據算法將某子節點提升為主節點，這也是嚴格意義上的分布式。目前，這種方式在大數據領域以及區塊鏈領域應用更為廣泛。相比于主從架構，集群架構是嚴格意義上的分布式架構。

持久化存儲且共享

節點的配置和服務發現數據通過高性能Key-Value內存數據庫進行存儲，并持久化到硬盤中，數據間通過Raft協議保持強一致性的共享。在控制節點，可使用etcd；而在執行節點，可使用Redis。

通過以上幾步，節點的網絡可以通過VIP漂移或者上層負載/編排平臺的控制切換到其他節點，節點的任務可以通過本來的冗余或快速啟動實例切換到其他節點，節點的數據因落到了共享的持久化存儲中，也可被其他節點無縫繼承。系統的健壯性和應用的可持續性，不再依賴于任何單一節點自身的可靠性。

應用可持續性架構特征

跨域協同與平滑遷移

（1）跨域雙活雙軌

數據中心雙活架構：雙活，是一種節約資源的計算機災備方案。其實現模式是讓主備兩個數據中心都同時承擔用戶的業務，此時，主備兩個數據中心互為備份，并且進行實時備份。一般來說，主數據中心的負載可能會多一些，比如分擔60~70%的業務，備數據中心只分擔40%~30%的業務，保證了當其中一邊發生故障時，不至于造成業務無法處理的情況。

雙活數據中心要做到網絡雙活、應用雙活和數據雙活。金融等行業，為了追求更高的可用性，且考慮成本，一般在雙活之外再加災備數據中心（俗稱“兩個半數據中心”）。

信創區和傳統區雙軌架構：利用和數據中心雙活類似的原理，在同一數據中心中的信創區和傳統區（非信創區）等不同模塊之間實現熱備或雙活的方案，即為雙軌運行。雙軌架構相比于數據中心雙活實現上更為復雜，這是因為雙活數據中心，只是物理距離較遠，但網絡、計算、存儲設備一般較為統一，所以組網相對容易，而雙軌相當于異生態組網，需要更全面的軟硬件生態屏蔽底層的異構和復雜。

交叉雙活雙軌架構：同時實現數據中心雙活，以及信創區和非信創區雙軌的架構，一般由多層負載設備和更復雜的軟硬件生態來實現。

（2）雙軌平滑遷移

雙軌是指信創區和非信創區同時運行，具體有以下幾種模式/步驟：

完全復制：信創區對非信創區的流量完全復制，進行“陪跑”，類似于數據中心的熱備份。主要用于初期，對于某類型信創設備穩定性信任度較差的階段。缺點是成本較高，造成大量的資源浪費。并且，這種方式，因為用戶側應用的響應其實還是完全依賴于非信創區，因此不便于將應用側及信創區設備側的指標做關聯性分析。

流量分擔：通過加權輪詢等方式，賦予信創區較少權重，讓其承擔少部分業務負載。相比于流量完全復制，其實際承擔了部分業務負載，降低了部分成本。

故障秒切：通過健康檢查，當信創區出現業務故障，秒級切換回傳統區，保障業務的可持續性。然后，根據健康檢查參數和日志等，找出故障原因，進行恢復。

平滑過渡：隨著信創區穩定性逐步提高，其負載權重也逐步上升，直至占據大部分，甚至全部。

協議互通：除了執行節點由傳統區逐步過渡到信創區之外，控制/調度節點也應該平滑過渡，這就要求信創的調度、控制節點（負載均衡/應用交付）應與既有設備在協議上保持互通，可直接讀取數據。

體驗一致：除底層協議之外，用戶體驗層也仍應關注，控制節點的操作體驗應盡量與原有設備一致，從而使得客戶/用戶學習成本最低，遷移平滑。

雙軌平滑遷移的方式，在早期增大了基礎平臺層的適配工作量，但將應用和基礎設施完全解耦，使得行業客戶在遷移時不再拘泥于“一個應用一個應用遷移”這種單一形式，將大幅降低遷移難度，提升遷移進度，并保障了遷移過程中的穩定性。

多協議支持

應用可持續性，需要在不同層級支持多種主流協議，具體包括：

（1）網絡層（三層）協議：IPv4、IPv6

（2）傳輸層（四層）協議：UDP、TCP、Fast TCP

（3）會話層（五層）協議：RPC

（4）應用層（七層）協議：HTTP1.1、HTTP2、HTTP3、FastHTTP

與現代高可用架構無縫對接

我們可把IT架構分為四個階段：第一個階段為小型機，其特點是單點高可用，但設備昂貴、封閉，擴展能力有限。第二階段為硬負載設備+X86服務器，其特點是依賴硬負載，實現了單服務器節點的容錯，通過冗余保障了高可用，同時擴展方便，但負載本身定制性較差。第三階段為以NGINX、LVS、HAProxy為代表的軟負載+物理機/虛機，特點是開源、定制性強。第四階段是以Kubernetes為代表的云原生架構，其內部負載一般采用Kubernetes原生功能，或使用NGINX、Traefik、Envoy等。其中，第三和第四階段，因為符合軟件定義基礎設施的特點，均可視為現代架構。但在金融等行業中，存在大量的IT歷史包袱，四個階段的架構和產品均在使用，因此，應用交付系統必須既能利舊，又能面向未來。具體的，應在縱向上，同時跨全局負載均衡（GSLB）、四層負載均衡、七層負載均衡、kubernetes Ingress Controller等環節，實現對接。

可觀測性和分析

（1）可觀測性實現手段

日志：展現的是應用程序運行產生的事件或記錄，可以詳細解釋其運行狀態。日志描述了一些離散的、不連續的事件，對于應用程序的可見性是很好的信息來源，也為應用程序的分析提供了精確的數據源。日志的數據量較大，但價值密度較低，一般有兩種使用方式：①事后進行定位分析。②依賴于指標，進行迅速抽取、聚合，并實時分析。

指標：與日志有所不同，日志提供的是顯式數據，而指標是通過數據的聚合，對一個程序在特定時間內的行為進行衡量。指標數據是可累加的，它們具有原子性，每個都是一個邏輯計量單元。指標數據可以觀察系統的狀態和趨勢，但對于問題定位缺乏細節展示。

追蹤：面向的是請求，可以分析出請求中的異常點，但與日志有相同的資源消耗問題，通常需要通過采樣等方式減少數據量。追蹤的最大特點是它在單次請求的范圍內處理信息，任何數據、元數據信息都被綁定到系統中的單個事務上。

在CNCF給出的云原生全景圖中，將可觀測性和分析放在了同一個維度。一方面通過實現可觀測性的工具，獲取系統中各個維度的運行數據，從而對整個云原生架構下的應用運行情況有全面深入的了解；另一方面，在擁有了這些數據之后，可以進行安全性分析、運維故障分析、性能分析等。另外，這些數據一般也會輸出到包括應用交付系統中，以提供動態負載、智能決策等。

（2）具體觀測內容

資源層監測：①高權重指標包括CPU使用率、GPU使用率、內存使用率、磁盤使用率、集群節點總數、Node使用、集群中調度完成Pod數、當前進程打開文件數。②中權重指標包括集群中處于Succeeded階段的Pod數、集群中處于Running階段的Pod數、當前內核空間占CPU百分比、磁盤每秒寫入字節數、GPU顯存空間量、過去五分鐘系統平均負載。③低權重指標包括調度器調度頻率、集群Job數、集群Secret數、調度器在線實例數、當前用戶空間占用CPU百分比、集群Namespace數、集群Endpoint數。

網絡監測：①高權重指標主要包括客戶鏈接數、丟包率、流量、吞吐量、客戶端延時、事件連接數、建連成功率。②中權重指標主要包括流出包數、網絡評分、流出字節、服務器延時、包大小分布、建連成功率。③低權重指標主要包括帶寬、流入吞吐量、大包占比、重傳時延、流入字節、流出吞吐量、中包占比、0窗口。

中間件監測：①高權重指標主要包括消息訂閱詳情、消息閱讀量、消息推送平均耗時、消息訂閱平均耗時、消息推送詳情、消息推送數量。②中權重指標包括Young GC平均數量、Eden平均使用情況、Full GC平均是量、老年代使用率、Eden使用率、Young GC平均時間、Full GC平均時間。③低權重指標包括OSS請求數量、OSS請求平均耗時。

數據庫監測：①高權重指標包括查詢響應時間、查詢錯誤率、QPS、連接數、連接數利用率、健康度。②中權重指標包括數據庫請求數、數據庫請求平均耗時、SQL查詢耗時排名、數據庫請求詳情。③低權重指標主要包括Tair內存數據庫請求數、Tair請求詳情、Tair請求平均耗時。

應用（Server側）監測：①高權重指標主要包括健康度、Apdex、吞吐率、響應時間、錯誤率。②中權重指標主要包括慢請求次數、調用數據庫錯誤率、慢請求占比、調用數據庫次數、調用MQ次數、調用數據庫響應時間。③低權重指標主要包括調用外部服務次數、調用外部服務響應時間、調用外部服務錯誤率、調用MQ錯誤率。

用戶（Client側）監測：①高權重指標主要包括可優化延時、體驗評分、首屏時間、ANR、卡頓、整體性能、崩潰、可用性、白屏時間、通過率、可交互時間、首次渲染時間。②中權重指標主要包括活躍用戶數、JS錯誤、請求錯誤率、請求錯誤、劫持比例、DNS時間。③低權重指標主要包括400錯誤率、ping耗時、SSL建連時間、響應時間、500錯誤率、TCP建連時間、信息量、設備型號、600錯誤率、CDN城市匹配率、CDN運營商匹配、CDN請求性能、應用安裝耗時、首包時間。

負載可編排

如果把可觀測比作感知神經，那么負載就是運動神經。它可將可觀測系統的輸出，直接轉為自己的輸入，進而動態調整，保障應用的可持續性。

（1）靜態算法

靜態算法中，下游節點業務負載占比是固定不變的，也即負載設備不根據可觀測系統監測到的下游節點的性能指標進行動態調整，包含輪詢、加權輪詢、隨機、目標IP哈希、源IP哈希、URL哈希等。

（2）基礎動態算法

動態負載中，可觀測系統將各種監測指標實時反饋給負載均衡，負載均衡根據這些指標，實時對下游節點間權重做出調整。具體算法包含最少連接、加權最少連接、基于局部性的最少連接、帶復制的基于局部性最少連接、Fair調度算法等。

（3）動態算法擴展

除常見動態算法外，還可以自定義動態負載均衡算法，目前，在學術界，已經對遺傳算法、領導者選舉算法、布谷鳥搜索算法等在負載均衡中進行嘗試，甚至將基于深度學習的流量預測用于負載均衡，但在生產中，這些應用仍較少。動態負載均衡算法擴展應考慮以下要素：（1）可觀測系統的監測指標及其權重。（2）監測指標的離散程度：如節點的CPU利用較高，但磁盤利用較低，實際上已經產生資源碎片，并非單依靠負載均衡能解決。（3）算法本身的可靠性：在局部更優的算法有可能因過擬合，在更廣泛的場景中性能較差。（4）算法本身的執行時間和性能損耗：如果將閾值設置較低，可能導致節點間權重頻繁切換，產生不必要的性能損耗。

主動韌性

大多情況下，對于應用可持續性的關注點往往在于被動健壯，也即盡量“想”全所有的問題，但包括混沌工程在內的高可用測試，則直接以“試”的方式讓架構實現主動健壯。其類似于“軍演”，在對業務完全無影響，或者控制好爆炸半徑的情況下，對架構發起計劃的或隨機的測試，從而使得架構更加穩定、健壯，具備韌性。

開放與集成

在開放性與集成性方面，應用可持續性產品應支持CLI、API和GUI等不同方式的操作，以真正實現基礎設施即代碼（IaC）。

（1）GUI：用戶圖形接口。目前一般為BS架構，也即支持H5的交互式操作、移動端可自適應。語言應支持多國語言，至少支持中英雙語。

（2）API：應用程序接口。一般指通過HTTP協議傳輸的，以Json為請求體和響應體的Restful API，未來還包括GraphQL風格的API。API可擺脫數據、應用對接中對特定開發語言的限制。為了安全起見，API調用前一般還須進行鑒權，包括靜態Appkey、動態Sign以及OAuth2.0認證等。

（3）CLI：命令行接口。盡管GUI更易理解，學習成本更低，但命令行仍在多場景下發揮作用，其資源開支更小，也更容易實現標準化與批量化，尤其在linux的開發和運維中，仍十分常見。

根據應用可持續性架構的整體設計思想和細分特征，結合金融、運營商、能源、政務等多個行業對應用可持續性架構的關注點，本章節從性能測試、基礎功能測試、超高可用架構場景測試和管理功能測試等4個維度切入，詳細說明了應用可持續性架構的37個通用驗證指標，并給出了常規測試步驟。具體企業在實際測試時，可根據自身情況，對具體指標進行調整。

縱觀應用可持續性架構的發展過程，從以“商務區—體驗區”構建的雙區運營的雙活架構，到基于4/7層分離的雙模IT架構，再發展至如今的以灰度割接構建的雙軌信創架構，應用可持續性架構在每一階段都不斷夯實基礎。未來以算力網絡技術為主的云網融合網絡架構演進將對應用交付高可用性提出更高的要求。

云網融合，是指云計算與通信網相融合，即將網絡技術引入至云計算中，與此同時在通信網中引入云計算技術。算力作為推動數字經濟發展的主引擎動力，成為數字化時代的基礎設施。

在算力網絡時代下，對應用可持續性架構提出了五個更高的要求：（1）可靠性方面，應保證應用服務在要求時間內始終處于可用狀態；（2）可恢復性，當外界發生事故造成宕機時，應用需更快速恢復正常服務狀態；（3）可伸縮性，由于算力網絡的變化與增長迅速，應用具有更高的可伸縮性以適應算網的變化；（4）可監控性，應用運行情況復雜，需要持續并高頻地監控及分析。（5）可維護性，應用的維護和升級頻率將會更加頻繁，因此需要應用具備更高的可維護性，以便應用迭代與維護。

這些都要求，在未來算力網絡架構下的應用可持續要具有更強的軟件定義特性、安全特性和AI特性。