CSDN 極客頭條」,是從CSDN網站延伸至官方微信公眾號的特別欄目,專注于一天業界事報道。風里雨里,我們將每天為朋友們,播報最新鮮有料的新聞資訊,讓所有技術人,時刻緊跟業界潮流。
快訊速知
國內要聞
淘寶與微軟HoloLens合推“淘寶買啊”,進軍MR(混合現實)購物
據悉,淘寶將聯合微軟旗下首個不受線纜限制的全息計算機設備HoloLens,通過“混合現實”技術,來實現超現實的未來購物體現。
在今年9月的淘寶造物節上,淘寶會在西湖邊上搭建一座300㎡的“未來購物街區”,用戶在“淘寶買啊”這款產品的幫助下,可以實現“所看即所得”:眼睛看到的商品信息,不僅可以被智能識別,與商品相關的評論和攻略等資料,也會呈現在用戶面前。這就意味著,在“淘寶買啊”的世界里,每一件商品都是全息的、立體的。
知乎完成E輪融資2.7億美元,加大在AI等領域投入
今天,知乎發布面向用戶和內容創作者的海鹽計劃。同時,知乎創始人周源,正式宣布知乎已經完成2.7億美元的E輪融資。
據悉,本次融資將用于加速全民知識內容平臺的建設,并將加大在AI技術、內容生態、知識服務以及商業化等多維度的投入。
上線七年的知乎,其產品和服務,已經覆蓋問答社區 、一站式知識服務平臺知乎大學、短內容分享功能想法等,其中還包括音頻、視頻在內的多元媒介形式。
中國在5G競賽中領先美國,后者少投入240億美元
據外媒消息,世界四大會計事務所之一的德勤,本周二公布了一項研究報告。
報告顯示,近年來,中國在下一代移動互聯網技術5G的資金投入,有數千億美元左右,比美國多出240億美元。
而且,在中國每增加一個運營載體,所需的設備成本,比美國低出35%左右。目前,中國已經新建了35萬個蜂窩基站,而美國同期新建的不足3萬個。
據悉,5G網絡不僅可以幫助用戶,快速下載電影、為虛擬現實在內的技術串流高寬帶視頻,還可以支持城市的聯網基礎設施,如無人駕駛汽車等。
騰訊前員工開發相似游戲產品,被判賠償1940萬
近日,騰訊一名前高級研發人才徐某,因違反競業限制條款,被騰訊告上法庭。目前,上海一中院二審判決徐某,賠償騰訊1940余萬元。
據悉,徐某之前在騰訊游戲任職,離職后成立公司,研發出多款游戲,但因其中一款游戲,和騰訊的游戲王者榮耀,存在高度相似,因此騰訊指控徐某,違反了雙方簽訂的勞動合同中的競業限制條款。
事實上,隨著互聯網的發展,國內巨頭研發類的崗位,都有競業限制條款,基本把主流企業限制了個遍。
近年來該行業的競業限制案件,每年都在遞增,而高額賠償也成為常事。但此次,徐某被索賠的金額,創下了此類案件的最高賠償紀錄。
摩拜宣布已申請專利450件,含40件智能鎖專利
今天,摩拜單車宣布,截止今年上半年,摩拜單車在國內外,共計提交專利申請450多件。
其中,已獲得授權專利的有200多件。而摩拜近兩年來,專利申請量以每年200%以上的速度增長。
這些專利,也涵蓋了共享單車領域的多種核心技術,如智能鎖、車型等。摩拜單車智能鎖的研發者楊眾杰稱,摩拜單車的智能鎖,實現了用戶與摩拜單車的“直接對話”。
用戶可以通過摩拜單車APP,查看周圍車輛的位置,找到一輛單車后掃碼開鎖,后臺會在數秒內,完成用戶和車輛信息的驗證,并發送解鎖指令,給鎖端通信模塊實現開鎖。
國際要聞
蘋果曝光新專利:Mac或可搭載Face ID和手勢控制
據外媒消息,蘋果可能會在今年推出的新款iPad Pro上搭載Face ID。據悉,蘋果已于今天被授予該專利。
而該專利信息顯示,蘋果還有意將Face ID,安裝在MacBook上。從使用角度來說,在MacBook上使用面部識別,比在iPhone上使用,更加符合習慣。
除了Face ID,MacBook設備還可以檢測、和識別使用者的表情和動作,從而讓用戶,通過肢體語言,就能進行應用程序的操控。
蘋果最新鍵盤或將采用全觸控操作
據國際科技媒體Mashable報道,日前,蘋果遞交了三項鍵盤相關的專利。其中一項顯示,蘋果將以數字觸控式面板,代替傳統的鍵盤。
有網友稱,這和今年6月,華碩在Computex?2018臺北電腦展上,展出的Project?Precog概念筆記本有點相似:它用一整塊觸屏,替代了原本的鍵盤區域,讓傳統筆記本電腦的顯示區域的面積翻倍,從而讓交互模式得以顛覆。
而蘋果的新鍵盤專利技術,更讓人期待,不過蘋果也并非,完全革新了鍵盤技術。
在提交的三項鍵盤專利中,有一套方案,只是在傳統的鍵盤區域周圍,擴展Touch Bar(位列于MacBook Pro鍵盤最上方,可以調整亮度、大小、快進后退等)。而這款,可能是最先和用戶見面的一款。
高通將推新款Wear芯片,有望支持Android 9 Pie系統
據外媒報道,高通將于今年9月10日,在舊金山舉行主題為“It’s Time”的發布會。有業內人士分析,此次發布會很可能,會推出適配于Android Wear的新款智能手表芯片。
目前,絕大多數基于Android Wear的智能手表,大多采用驍龍Wear 2100/2500系列處理器。
而高通的新款智能手表芯片,將以Wear 3100系列為名,架構和工藝也更加激進,不僅性能好,續航時間也相對更長。而且,新的Wear芯片,還很有可能支持Android 9 Pie系統。
用Windows 10 PC撥打電話或將成為現實
今天,有消息稱,微軟或計劃將手機撥號的軟件,帶到所有的Windows 10設備上。
這意味著,以后手機撥號的功能,或不僅僅會在出現在Windows手機上。還會像Skype語音一樣,允許用戶在蜂窩網絡連接的情況下,撥打電話。
另外,它還可兼容Windows 10 PC使用:目前在Windows 10 RedStone 5和19H1中,它已可以顯示通話記錄和收藏聯系人了,且還有完整的撥號界面。
不過,這款App目前仍然無法在PC端運營?;蛟S將來,會在支持LTE的PC設備上激活使用。
程序員社區
谷歌宣布推Dart 2穩定版和Dart Web平臺
今天,谷歌宣布推出Dart 2的第二個穩定版本,官方表示,這標志著Dart 已“重生”,成為移動和Web開發的主流編程語言。
本次發布的Dart 2穩定版本,包括重寫的Dart Web平臺,它提供了生產力、性能和可擴展性的獨特組合。
官方表示在語言特性、核心庫、構建系統、以及Web開發工具這些方面,均已發生變化:
語言特性和核心庫
工具
Dart 2源碼獲?。?/strong>https://github.com/dart-lang/sdk/releases/tag/2.0.0
更多發布說明請查看:https://www.dartlang.org/dart-2
詳細更新內容請查看:https://medium.com/dartlang/dart-2-stable-and-the-dart-web-platform-3775d5f8eac7
分布式數據庫中間件解決方案——Sharding-Sphere 3.0.0.M2已發布
Sharding-Sphere 3.0.0.M2現已發布。Sharding-Sphere是一套開源的分布式數據庫中間件解決方案組成的生態圈,它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar這3款相互獨立的產品組成。
他們均提供標準化的數據分片、讀寫分離、柔性事務和數據治理功能,可適用于如Java同構、異構語言、容器、云原生等各種多樣化的應用場景。
Sharding-Sphere 3.0.0.M2更新內容如下
新特性
功能增強
源碼下載:https://github.com/sharding-sphere/sharding-sphere/releases/tag/3.0.0.M2
“征稿啦!”
CSDN 公眾號秉持著「與千萬技術人共成長」理念,不僅以「極客頭條」、「暢言」欄目在第一時間以技術人的獨特視角描述技術人關心的行業焦點事件,更有「技術頭條」專欄,深度解讀行業內的熱門技術與場景應用,讓所有的開發者緊跟技術潮流,保持警醒的技術嗅覺,對行業趨勢、技術有更為全面的認知。
如果你有優質的文章,或是行業熱點事件、技術趨勢的真知灼見,或是深度的應用實踐、場景方案等的新見解,歡迎聯系 CSDN 投稿,聯系方式:微信(guorui_1118,請備注投稿+姓名+公司職位),郵箱(guorui@csdn.net)。
2019天貓“雙11”,零點鐘聲剛過去1分36秒,成交額已突破100億元人民幣,最終成交額為2684億,又一次刷新了世界記錄。
對象存儲OSS作為淘寶、天貓、支付寶等核心阿里App背后的圖片存儲底座,又一次平穩的頂住了雙11凌晨洪峰,并且提供了10倍的圖片瀏覽性能優化,在本文中,來自阿里云資深技術專家羅慶超將為大家揭秘OSS背后的穩定性設計。
作者 | 羅慶超,阿里云資深技術專家
責編 | 屠敏
前言
阿里云對象存儲OSS是阿里集團非結構化數據的統一存儲系統,支撐了集團內的大量業務,存儲了海量的圖片、視頻、音頻、文檔等文件。OSS的同城冗余存儲特性為螞蟻主站實現世界領先的容災能力提供了RPO為零的技術支撐,完全自主研發的FPGA圖片處理功能以5倍的單機性能、1/10的處理延遲,為雙11提供了更穩定、更高效的服務能力。
OSS雙11穩定性工作思路
OSS很早就參與了雙11支撐,在業務洪峰的不斷打磨下,持續淬煉產品的架構、特性、穩定性,通過多年的摸索,總結了如下支撐雙11穩定性的思路,作為大促支撐的工作指南。
2.1 業務規劃
今年雙11的主題是一心一役,為了打好這場戰役,團隊詳細梳理了業務情況。整體來看,集團上云到OSS的核心業務主要支撐淘寶天貓的圖片、視頻瀏覽,為了保證無損的切換、以及體驗優化,制定了2階段的遷移目標:
第一階段目標為OSS適配業務,保障平滑切換。
第二階段目標為享受公共云彈性收益、并優化圖片處理性能。
通過對業務來龍去脈的掌握,團隊針對最終目標分解出清晰的步驟和路標,從而支撐業務和技術的快速迭代、敏捷交付。
2.2 架構設計
梳理清需求和路標,就可以針對技術架構、業務架構進行詳細設計,確保需求和架構設計一致,從而支撐客戶需求的正確落地。
2.2.1 OSS 技術架構
今年杭州云棲大會,OSS基于貔貅3新硬件和盤古2.0底層演進到了新時代,基于如下的架構發布了 9 大新特性。
OSS通過大規模的生產實踐,提供了5個業界領先的關鍵競爭力:
可靠性,指在硬盤、服務器、網絡等故障情況下,以及火災、地震、洪水等災害時,可以有效防止數據丟失,通過跨機機柜、機房、區域的數據冗余,實現了12個9的高可靠性。
可用性,指在服務器故障時、光線挖斷時,可自動切換實現業務連續性,通過容錯設計,實現了99.995%的可用性。
安全合規,指數據訪問的認證、授權、加密、以及行業法規遵從,支持多項合規認證,比如KMS加密、WORM認證等。
彈性擴容,能夠自適應業務數據快速增長,避免出現存儲空間被打爆,通過業界領先的資源供應鏈管理、軟件分布式彈性設計,實現百EB級空間、百萬億級對象規模能力。
自動生命管理管理,支持冷熱數據的管理,優化TCO,提供標準、低頻、歸檔存儲,并自動化遷移,優化存儲使用成本。
2.2.2 業務異地多活架構
為保障業務連續性,采用了異地多活架構,核心技術為一寫多讀。開通了OSS主區域到兩個備區域的跨區域復制功能,如下圖所示。
寫入時只寫主區域,開發便捷。利用OSS跨區域復制能力,將數據復制到備區域,從而備區域有全量的數據。
讀取時可根據地域就近讀取,降低延遲。由于寫入時只寫數據到主區域,數據是異步復制到備區域,所以用戶讀備區域數據時,可能數據還未復制完成,此時通過OSS鏡像回源功能從主區域讀取數據。
從而,可在不同的區域級故障場景時,實現快速切換,提供容災秒級RPO(Recovery Point Objective),保證業務應用連續性。
備區域不可用,上層業務快速切換到另外2個區域,并將流量均分,業務能立即恢復,切換也非常方便。
主區域不可用,則選擇新的主區域(如選擇區域2),并開通區域2到區域3的跨域復制,從而業務可以將寫請求切換到新的主區域,讀請求也切換到剩下的區域;同時,基于OSS的版本控制和業務無更新寫,實現了主區域故障切換的數據一致性。
2.3 特性功能
2.3.1 數據高可靠容災特性
圍繞著數據高可靠需求,團隊在今年雙11重點開發&部署了如下關鍵特性:
同城冗余存儲(3AZ, Access Zone),實現RPO為0的容災能力。要實現3AZ冗余,需要OSS的關鍵組件女媧(分布式一致性)、盤古(分布式文件系統)、有巢(分布式KV索引)等都需要實現跨數據中心冗余,基于遵守PAXOS的一致性協議、精妙設計的AZ間帶寬和時延、以及數據分片的策略,保證了AZ故障后的快速切換,零數據丟失。經過螞蟻主站(支付寶賬單、刷臉類業務)、網商銀行、淘寶短視頻、天貓大屏等的業務打磨,檢驗了3AZ的能力,得到了廣泛認可。
跨區域復制,它實現跨不同OSS區域的存儲空間(Bucket)異步對象復制,將對象的創建、更新和刪除等操作從源存儲空間復制到不同區域的目標存儲空間,提供RPO為秒級~分鐘級的容災能力。在集團圖片云異地多活架構中,它發揮了關鍵作用。
2.3.2 高性能特性
為了滿足業務的高性能要求,開發了如下的性能優化特性,如下圖所示。
圖片處理加速引擎,縮放性能十倍提升。雙11凌晨流量洪峰時,有大量的圖片處理請求,其中圖片縮放請求占據了相當大的比例。OSS基于FPGA異構計算卸載,結合自研的 Resize 算法,集中在緩存優化、內存訪問優化、FPGA資源優化挖掘技術深度,實現時延是CPU處理時延的1/10。
區域級桶分布策略,支持淘寶、天貓圖片云業務高 QPS 能力。通過該分布策略,可以將桶中的對象數據分布到區域范圍內的所有機器上,不僅可以實現數據存放的均衡性,還可以極大提升單個 Bucket 的 QPS 能力。根據今年雙11淘寶圖片云需求,OSS能夠為該業務的桶提供近百萬 QPS 能力。
OSS傳輸加速。隨著業務向新區域擴展,業務數據的存儲位置發生了變化,導致時延也發生了變化。傳輸加速利用底層的全球網絡,采用CNAME自定義加速區域,實現就近傳輸,最高可達到4倍加速效果。
2.4 開發運維效率
OSS作為阿里云基礎設施服務,開發運維效率至關重要。基于OSS孵化的赤驥管控已經演化為阿里云存儲的管控平臺,服務于對象存儲、文件存儲、表格存儲、日志存儲、智能存儲、女媧等。OSS-Brain是基于海量的線上運維數據,設計的智能運維組件,除了保障OSS的健康穩定運行外,還可以支撐架構設計。如下是詳細介紹:
赤驥自動化監控運維。針對“監控+預案”做好事前準備,在雙11壓測和準備期間積累了大量預案,形成了穩定性保障的強力后盾。采用“動態工作流”支撐事中靈活應對,面向快速“告警、定位、恢復”的目標設計動態表單引擎和批量執行引擎,性能上支持百萬級任務調度和萬級別的任務并發,快速響應應急處理。
OSS-Brain 數據智能運維平臺。它的使命是用“數據+算法”來保障 OSS 的穩定運行,賦能線上運維及運營。結合機器學習中常用的分類算法(邏輯回歸、隨機森林、GBDT),聚類算法(DBSCAN、層次聚類)、回歸算法(線性回歸、GBRT等),以及深度學習算法(CNN、RNN、LSTM),實現智能運維。
2.5 穩定性看護
2.5.1 主動防護
針對雙11特點,梳理了如下穩定性主動防護點:
基于需求預測算法的庫存管理。云服務基于需求的智能預測可以保障服務的穩定性,同時也要降低算法預測誤差,保障投資回報比。
多租戶下的差異化流控。雙11集團用戶上云,要做好租戶的流控隔離。OSS為此提供了桶級流控、租戶級流控能力,以及針對業務請求的差異化流控。
防SYN-FLOOD攻擊。針對云服務的安全攻擊很普遍,SYN-FLOOD 是常見的類型,OSS作為云基礎設施服務,通過此功能支撐高并發訪問、突發請求,保證租戶不被影響。
2.5.2 拉網式風險排查,謹防漏網之魚
在雙11的方案討論、日常巡檢、按期壓測等過程中,都會發現風險點,為此專門組織了拉網式排查,對每個隱患都要找出根因,不放過任何潛在問題。
2.6 流程和文化
為了讓雙11的經驗得到傳承,總結了相關管理流程和文化:
需求管理、任務分解。
值班手冊、人人必遵。
預案演練、結對配合。
成果和展望
在穩定性思路的指導下,團隊認真仔細的開展任務,結合高效的執行力,順利支撐了今年雙11。希望未來繼續堅持“穩定性工作思路”,并應用到每天每秒的日常運維中,讓所有的用戶都能享受到服務穩如磐石、體驗絲般順滑的對象存儲OSS。