地球上最高的山峰,大家都知道是珠穆朗瑪峰,那么太陽系最高的山峰呢?
答案是火星上的奧林帕斯山( Mons)。奧林帕斯山高于火星基準面21千米,遠遠超過珠穆朗瑪峰的8.8千米,其山腳到山頂的高差也高達22千米,同樣超過地球上高差最大的冒納凱阿火山的10千米。
在物理世界,山峰是自然力量的象征;而在數字世界里,數據則是智慧力量的來源。或許正是因為如此,華為將其聚焦在數據基礎技術的科研大獎命名為 Mons,即奧林帕斯大獎,專門用于重獎那些在數據存儲領域實現技術突破的科研工作者。設立獎項只是一種形式。在奧林帕斯大獎的背后,是華為通過匯聚產學研各方能力,來推動數據技術實現突破性發展的雄心,從而為數字經濟發展提供更好的數據基礎設施。
打造數據基礎設施,發揮數據價值隨著數字化時代的到來,數據的價值越來越突出,正在日益成為國家、企業、甚至個人的核心資產。與傳統經濟相比,數字經濟的本質就是數據的流通,數據也成為智能社會的主要生產要素。IDC的調研顯示,2020年全球共創造了59ZB的數據,到2025年則將達到163ZB。如此巨量的數據資產,需要經過數據采集、數據存儲、數據分析等流程才能產生價值,其中數據存儲無疑是基礎。在數據中心里,存儲也與計算和網絡一道,成為關鍵基礎設施,為整個數字化進程提供支持。在數據量高速成長的同時,數據的形態也日益多樣化圖像壓縮技術好不好,視頻、圖片、音頻等非結構化數據已經成為數據的主體。這些復雜的數據要想充分發揮價值,就需要更加高效的數據存儲和數據管理。有統計顯示,如今只有2%的數據被保存,保存下來的數據也只有10%得到分析利用。華為數據存儲與機器視覺產品線總裁周躍峰介紹說,數據在企業數字化轉型中扮演著越來越重要的角色,然而企業卻面臨海量數據存不下、流不動、管不好的問題。為了滿足客戶日益增長的數據存儲需求,華為主張構建端到端的數據能力,包括計算、存儲、利用和AI等能力,讓數據在全生命周期內實現每比特價值最大,每比特成本最優。
攀登奧林帕斯,尋求存儲難題的突破華為的努力,已經收到了成效,如今越來越多的政企使用華為的數據存儲解決方案,來實現對數據資產的管理。甘肅敦煌研究院,正在利用華為的海量存儲解決方案,通過計算機技術和數字圖像技術,實現敦煌石窟文物的永久保存、永續利用。然而,整個敦煌莫高窟擁有735個洞窟、4.5萬平方米壁畫、2415尊泥質彩塑,要把這么多文物數字化,達成構建數字敦煌博物館的目標,意味著需要大量的投資和海量的存儲設備。顯然,要想解決這一問題,僅靠華為自身的努力還不夠,而需要各個方面的共同參與,通過打造產業技術生態,來實現存儲技術的新突破。這也正是華為設立“奧林帕斯獎”的初衷。據了解,華為“奧林帕斯獎”,每年都聚焦于數據領域的兩個主要技術難題來尋求解決方案。在去年底的全球數據存儲教授論壇上,第二屆的“2021年奧林帕斯懸紅”兩大難題已經確定:一是構建每比特極致性價比的數據存儲,二是實現下一代存儲產業根技術突破。對于每個難題,華為都給出了高達100萬元的懸紅,華為希望通過“奧林帕斯獎”的設立,與學術界在Cloud-多云存儲服務、Data-新型數據應用存儲系統、AI-存儲軟件架構、創新體系架構等技術方向共同攻堅,構筑更好的數據存儲系統。
數據壓縮大賽,挑戰壓縮算法極限我們都知道,妨礙電動汽車推廣普及的主要制約因素是電池的能量密度,其決定了電動汽車的可用性。在數據中心里,數據的存儲密度則將成為未來的核心挑戰,決定著我們智能社會的成色。科學家們已經明確了下一步的發展目標:在有限的資源下實現100x性能密度和100x容量密度的數據存儲。要實現存儲能力的提升,壓縮算法是核心技術之一,可以降低數據的存儲成本,幫助用戶緩解數據規模爆炸性增長帶來的成本壓力。
然而,作為存儲技術中的重磅難題,壓縮算法多年來未有突出成果。
為了突破壓縮算法面臨的瓶頸,激發數據壓縮領域的活力,自2020年起,華為與莫斯科國立大學合作,舉辦全球數據壓縮大賽圖像壓縮技術好不好,以促進數據壓縮根技術的研究。
今年的第二屆全球數據壓縮大賽,邀請了壓縮領域享有盛譽的技術專家擔任評委;使用電子顯微鏡、遙感等高性能計算數據,更貼近前沿、更貼近實際場景。大賽設計了五種類型的數據集(賽事項目):定量數據壓縮、定性數據壓縮、混合數據壓縮、小塊數據壓縮和熵編碼優化。
同時,大賽還增設了面向高校學生、難度相對較小的編碼算法優化項目,以吸引更多校園算法高手參與比賽。在獎項設置方面,進一步體現多維激勵,增設領先獎、特等獎和學生參與獎。
本屆數據壓縮大賽,已于6月15日正式開賽,接收參賽作品截止到11月底,將于12月底公布獲獎結果。截至7月中旬,開賽僅1個月大賽組委會就已經收到了來自全球近80個報名申請。
出色的開始,更高的期待伴隨著奧林帕斯大獎和全球數據壓縮大賽相繼進入第二屆,“奧林帕斯”已經成為華為數據存儲正在著力打造的新品牌,專門用來加強產學研合作,聯合學界一起推動數據存儲產業的進步。從第一屆奧林帕斯大獎得主那里,我們已經看到科研界在數據技術創新領域的突破。獲得百萬懸紅大獎的清華大學舒繼武老師團隊的“持久性內存存儲系統構建與關鍵技術”,創新地提出了持久性內存文件系統與鍵值存儲的設計方法和分布式持久性共享內存框架,攻克了其數據結構、內存管理、一致性與安全等方面的一系列難題,解決了基于新型內存介質的高效數據存儲問題。此外,上海交通大學的陳榕團隊的“基于新型異構硬件的高效數據處理系統”,華中科技大學的馮丹團隊的“NVM(新型非易失存儲)高效可靠技術”,也具有較高的創新性和先進性,具備產業價值和應用前景。同樣,在第一屆全球數據壓縮大賽上,也涌現出了很多令人矚目的成果。比如獲獎選手Peter Thamm設計的pglz算法在壓縮率和性能上,打破了快速壓縮算法的一般認知,指引了壓縮算法優化方向; 的參賽算法,在文本場景測試中的壓縮率和壓縮性能,均超過業界公認的標桿算法; 的快速圖像壓縮算法,達到了業界公認標桿算法120%的壓縮率,展現了深厚的圖像壓縮算法功底。尤為難得是來自全球各地的壓縮算法高手的積極參與。正如業界大咖Ilya 所說,這一比賽激發了人們對數據壓縮行業的關注,并讓那些數據壓縮大牛重回他們的主戰場。過去一年的成功,也讓我們對今年的“奧林帕斯”有了更高的期待。對這個太陽系最高峰的攀登,意味著整個數據存儲技術領域的參與者,首次能夠團結一致,共同牽引基礎理論研究方向,突破關鍵技術難題,加速科研成果產業化,實現產學研合作共贏。在此進程中,華為一方面發揮了產業引領者的角色,大力推動產學研的合作進程;另一方面也積極投身其中,通過Data 、智能存儲、內存型存儲、數據縮減、視頻存儲等五大創新實驗室,通過4000多名研發工程師的協同努力,圍繞下一代存儲的介質、網絡、架構和管理等進行系統化創新。我們也有理由相信,通過全球、全領域的協同創新,我們一定能夠迎來數據存儲技術的突破,通過技術重構實現更好的數據存儲效能,讓全世界共享數字技術紅利,進而推動千行百業的智能化升級。