摘要
如今，數據和分析對于企業來說是不可或缺的。很多企業的數據工程師、數據分析師和開發人員都希望將數據倉庫遷移到云上，以提高性能和降低成本。本文討論了實現實時數據倉庫的必要性和實時數據模型，介紹了基于構建阿里云實時數據倉庫解決方案的方法和優勢。
為什么構建數據倉庫
為什么要構建數據倉庫，而不是直接在OLTP數據庫上運行分析查詢？為了回答這個問題，我們先來看下數據倉庫與 OLTP 數據庫之間的差別。數據倉庫主要是針對批量寫入和大量數據的讀取操作，而OLTP數據庫是針對持續寫入操作以及大量的小規模讀取操作。通常，數據倉庫會因較高的數據吞吐量要求而使用非規范化模型，如星型模型和雪花模型。星型架構包含多個引用大量維度表的大型事實數據表。雪花型架構是星型架構的擴展，包含更加規范化的維度表。而OLTP數據庫則使用高度規范化的模型，更適合高事務吞吐量的要求，對于復雜查詢的性能很難滿足用戶要求。
為什么構建實時數倉
傳統的離線數據倉庫將業務數據集中進行存儲后，以固定的計算邏輯定時進行ETL和其它建模后產出報表等應用。離線數據倉庫主要是構建T+1的離線數據，通過定時任務每天拉取增量數據，然后創建各個業務相關的主題維度數據，對外提供T+1的數據查詢接口。計算和數據的實時性均較差，業務人員無法根據自己的即時性需要獲取幾分鐘之前的實時數據。數據本身的價值隨著時間的流逝會逐步減弱，因此數據發生后必須盡快的達到用戶的手中，實時數倉的構建需求也應運而生。
實時數據倉庫模型架構
實時數據倉庫是用于保存從一個或多個數據源獲取到的信息的中央存儲庫。數據通常從事務系統和其他關系數據庫傳輸到數據倉庫中，而且一般包括結構化、半結構化和非結構化的數據。這些數據將會每小時或者每分鐘處理、轉換和提取。科學家、業務分析師和決策者會通過BI工具、SQL客戶端或者電子表格來進行數據挖掘、數據分析、報表展示或即席查詢等操作。
什么是
幾年前阿里云就意識到實時數據倉庫的必要性，2015年肩負這阿里云實時數據倉庫的使命上線公共云。是阿里云上唯一經過核心業務和超大數據量驗證的實時數據倉庫，其穩定性、規模性和性能是不容置疑的。
采用行列混存MPP技術，突破OLTP和傳統數據倉庫技術壁壘，最大優勢是可以構建PB數據量下高性能和經濟實用的數據倉庫。全面兼容MySQL協議以及SQL:2003 語法標準，用戶只需對現有業務進行少量更改，甚至不需要進行任何更改，即可把業務全部遷移到上來。因此，它已成為當今企業構建數據倉庫和OLAP系統的理想選擇。
實時性
前面介紹說離線數據倉庫計算和數據的實時性均較差，業務人員無法根據自己的即時性需要獲取幾分鐘之前的實時數據。那么，同時具有：
可以讓業務人員在幾秒鐘甚至幾百毫秒的時間內獲取到包含最近幾分鐘內的數據計算結果，以最大的靈活度應對千變萬化的業務挑戰。
成本低
不要求長期訂閱，也不需要提前支付費用。利用此定價方法，在出現相應的需求之前，用戶不必為規劃和購買數據倉庫容量而產生的資本費用以及由此帶來的復雜性而頭疼，根據購買的資源模型和數目收費。用戶可以根據需求從使用按量付費的小規模數據倉庫（每小時1.6元）開始，然后再逐步擴展到TB和PB級（每年每TB最低14125元）。
另外，在即將到來的 3.0中用戶可以使用最高與配置存儲同等大小的備份存儲，而不需要額外支付費用，一起期待3.0的到來吧。
動態擴展
傳統的數據倉庫難以擴展，當數據量增加或者需要向更多用戶提供分析和報告時，用戶要么選擇接受較低的查詢性能，要么選擇在成本高昂的升級過程中投入更多的人力和物力。
的擴展只需在控制臺中點擊幾次或者使用一個API調用，用戶就能在性能或容量需求發生變化時輕松地更改數據倉庫中的節點的數量和類型。使用，用戶能夠從最低180GB的單個節點開始，通過添加多個節點進行擴展，一直到1PB甚至更高容量。整個過程中用戶可以正常進行在線查詢和海量寫入操作，業務完全無感知，不受影線。
多維復雜分析
可以進行復雜的自由計算，他摒棄了傳統數據庫索引加速方式，默認全索引方式，用戶全部精力關注在如何能夠提取數據并在多個維度上敏銳地觀察趨勢。由于已針對快速JOIN行優化，因此用他構建OLAP系統是非常合適的。
真實數據
提供了單庫PB級數據實時分析能力。以下是生產環境的真實數據：
為什么選擇
數據倉庫建設無論采用哪種方式，數據收集、處理、分析和存儲都不可能放在一個產品中實現，需要多個其他產品配合使用。下面列舉各個過程中常用的產品，
拋開性能和時效性考慮，多一個產品就多一些出現問題的幾率，如果各個產品處理問題低效，直接影響數據倉庫上線時間，影響企業未來。
前面我們介紹了的一些功能，這些功能使成為數據倉庫的理想之選。除了上述特征外，還有一個重要的原因是：可以集數據收集、處理、分析和存儲于一體。鏈路簡單，業務聯調時間短，上線快。提高數據時效性的同時也節省了開發上線時間和運維時間，給企業帶來的紅利是非常明顯的。為了說明如何使用設計數據倉庫工作流程，下面我們來看一看最常見的設計模式。
阿里云PB級實時數倉建設
數據收集
在數據收集階段，第一點需要考慮的是用戶可能具有不同類型的數據，如事務數據、日志數據、流數據和物聯網 (IoT) 數據。針對上述每種數據提供了數據收集解決方案。另外一點要需要考慮的是抽取頻次，傳統離線數據倉庫會采用避開高峰期時間每天抽取一次，最快也只能做到小時級別的抽取。可以做到高并發實時寫入，3s內即可查。
業務數據日志數據對象存儲數據本地數據
數據處理
通過數據收集過程，用戶數據進入到中了，已經獲得可能包含有價值信息的數據。所謂數據處理就是把不需要的和不符合規范的數據進行處理，或者通過數據處理把小表組成大寬表。數據處理最好不要放在數據收集的環節進行，考慮到有時可能會查原始數據。
提供多種數據處理方式：CTE，查詢方式復制表(INSERT INTO......SELECT FROM)，CREATE TABLE AS（ 3.0支持），CREATE TABLE LIKE（ 3.0支持）等。如下舉例說明數據處理的場景：
數據存儲
可以進行低成本數據存儲，公共云上售賣的資源模型有兩種：
數據分析
傳統數據倉庫一般使用OLTP數據庫如MySQL進行加速，一般將數據處理與OLTP系統分離，使數據處理不會影響到 OLTP工作負載。但隨著數據量的增長OLTP數據庫會成為嚴重的系統瓶頸。通過進行分析，當不能滿足性能和存儲要求時，可以隨時進行橫向和縱向擴展（擴容和升配），變換過程中業務完全不受影響，不用避開高峰期。