數(shù)據(jù)倉庫中的元數(shù)據(jù)管理系統(tǒng)
2021-04-24 勿忘初心
篇首語：本文由小常識網(wǎng)()小編為大家整理，主要介紹了數(shù)據(jù)倉庫中的元數(shù)據(jù)管理系統(tǒng)相關的知識，希望對你有一定的參考價值。
一、元數(shù)據(jù)的定義
按照傳統(tǒng)的定義，元數(shù)據(jù)（）是關于數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)倉庫系統(tǒng)中，元數(shù)據(jù)可以幫助數(shù)據(jù)倉庫管理員和數(shù)據(jù)倉庫的開發(fā)人員非常方便地找到他們所關心的數(shù)據(jù)；元數(shù)據(jù)是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構和建立方法的數(shù)據(jù)，可將其按用途的不同分為兩類：技術元數(shù)據(jù)（ ）和業(yè)務元數(shù)據(jù)（ ）。
技術元數(shù)據(jù)是存儲關于數(shù)據(jù)倉庫系統(tǒng)技術細節(jié)的數(shù)據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉庫使用的數(shù)據(jù)，它主要包括以下信息：
業(yè)務元數(shù)據(jù)從業(yè)務角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)，它提供了介于使用者和實際系統(tǒng)之間的語義層，使得不懂計算機技術的業(yè)務人員也能夠“讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。業(yè)務元數(shù)據(jù)主要包括以下信息：使用者的業(yè)務術語所表達的數(shù)據(jù)模型、對象名和屬性名；訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源；系統(tǒng)所提供的分析方法以及公式和報表的信息；具體包括以下信息：
二、元數(shù)據(jù)的作用
與其說數(shù)據(jù)倉庫是軟件開發(fā)項目，還不如說是系統(tǒng)集成項目，因為它的主要工作是把所需的數(shù)據(jù)倉庫工具集成在一起，完成數(shù)據(jù)的抽取、轉(zhuǎn)換和加載，OLAP分析和數(shù)據(jù)挖掘等。如下圖所示，它的典型結(jié)構由操作環(huán)境層、數(shù)據(jù)倉庫層和業(yè)務層等組成。
其中，第一層（操作環(huán)境層）是指整個企業(yè)內(nèi)有關業(yè)務的OLTP系統(tǒng)和一些外部數(shù)據(jù)源；第二層是通過把第一層的相關數(shù)據(jù)抽取到一個中心區(qū)而組成的數(shù)據(jù)倉庫層；第三層是為了完成對業(yè)務數(shù)據(jù)的分析而由各種工具組成的業(yè)務層。圖中左邊的部分是元數(shù)據(jù)管理，它起到了承上啟下的作用，具體體現(xiàn)在以下幾個方面：
1.元數(shù)據(jù)是進行數(shù)據(jù)集成所必需的
數(shù)據(jù)倉庫最大的特點就是它的集成性。這一特點不僅體現(xiàn)在它所包含的數(shù)據(jù)上，還體現(xiàn)在實施數(shù)據(jù)倉庫項目的過程當中。一方面，從各個數(shù)據(jù)源中抽取的數(shù)據(jù)要按照一定的模式存入數(shù)據(jù)倉庫中，這些數(shù)據(jù)源與數(shù)據(jù)倉庫中數(shù)據(jù)的對應關系及轉(zhuǎn)換規(guī)則都要存儲在元數(shù)據(jù)知識庫中；另一方面，在數(shù)據(jù)倉庫項目實施過程中，直接建立數(shù)據(jù)倉庫往往費時、費力，因此在實踐當中，人們可能會按照統(tǒng)一的數(shù)據(jù)模型，首先建設數(shù)據(jù)集市，然后在各個數(shù)據(jù)集市的基礎上再建設數(shù)據(jù)倉庫。不過元數(shù)據(jù)管理工具 hadoop，當數(shù)據(jù)集市數(shù)量增多時很容易形成“蜘蛛網(wǎng)”現(xiàn)象，而元數(shù)據(jù)管理是解決“蜘蛛網(wǎng)”的關鍵。如果在建立數(shù)據(jù)集市的過程中，注意了元數(shù)據(jù)管理，在集成到數(shù)據(jù)倉庫中時就會比較順利；相反，如果在建設數(shù)據(jù)集市的過程中忽視了元數(shù)據(jù)管理，那么最后的集成過程就會很困難，甚至不可能實現(xiàn)。
2.元數(shù)據(jù)定義的語義層可以幫助用戶理解數(shù)據(jù)倉庫中的數(shù)據(jù)
最終用戶不可能象數(shù)據(jù)倉庫系統(tǒng)管理員或開發(fā)人員那樣熟悉數(shù)據(jù)庫技術，因此迫切需要有一個“翻譯”，能夠使他們清晰地理解數(shù)據(jù)倉庫中數(shù)據(jù)的含意。元數(shù)據(jù)可以實現(xiàn)業(yè)務模型與數(shù)據(jù)模型之間的映射，因而可以把數(shù)據(jù)以用戶需要的方式“翻譯”出來，從而幫助最終用戶理解和使用數(shù)據(jù)。
3.元數(shù)據(jù)是保證數(shù)據(jù)質(zhì)量的關鍵
數(shù)據(jù)倉庫或數(shù)據(jù)集市建立好以后，使用者在使用的時候，常常會產(chǎn)生對數(shù)據(jù)的懷疑。這些懷疑往往是由于底層的數(shù)據(jù)對于用戶來說是不“透明”的，使用者很自然地對結(jié)果產(chǎn)生懷疑。而借助元數(shù)據(jù)管理系統(tǒng)，最終的使用者對各個數(shù)據(jù)的來龍去脈以及數(shù)據(jù)抽取和轉(zhuǎn)換的規(guī)則都會很方便地得到元數(shù)據(jù)管理工具 hadoop，這樣他們自然會對數(shù)據(jù)具有信心；當然也可便捷地發(fā)現(xiàn)數(shù)據(jù)所存在的質(zhì)量問題。甚至國外有學者還在元數(shù)據(jù)模型的基礎上引入質(zhì)量維，從更高的角度上來解決這一問題。
4.元數(shù)據(jù)可以支持需求變化
隨著信息技術的發(fā)展和企業(yè)職能的變化，企業(yè)的需求也在不斷地改變。如何構造一個隨著需求改變而平滑變化的軟件系統(tǒng)，是軟件工程領域中的一個重要問題。傳統(tǒng)的信息系統(tǒng)往往是通過文檔來適應需求變化，但是僅僅依靠文檔還是遠遠不夠的。成功的元數(shù)據(jù)管理系統(tǒng)可以把整個業(yè)務的工作流、數(shù)據(jù)流和信息流有效地管理起來，使得系統(tǒng)不依賴特定的開發(fā)人員，從而提高系統(tǒng)的可擴展性。
三、元數(shù)據(jù)管理現(xiàn)狀
由以上幾節(jié)我們了解到元數(shù)據(jù)幾乎可以被稱為是數(shù)據(jù)倉庫乃至商業(yè)智能（BI）系統(tǒng)的“靈魂”，正是由于元數(shù)據(jù)在整個數(shù)據(jù)倉庫生命周期中有著重要的地位，各個廠商的數(shù)據(jù)倉庫解決方案都提到了關于對元數(shù)據(jù)的管理。但遺憾的是對于元數(shù)據(jù)的管理，各個解決方案都沒有明確提出一個完整的管理模式；它們提供的僅僅是對特定的局部元數(shù)據(jù)的管理。當前市場上與元數(shù)據(jù)有關的主要工具見下圖：
如圖所示，與元數(shù)據(jù)相關的數(shù)據(jù)倉庫工具大致可分為四類：
1. 數(shù)據(jù)抽取工具;
把業(yè)務系統(tǒng)中的數(shù)據(jù)抽取、轉(zhuǎn)換、集成到數(shù)據(jù)倉庫中，如的、的開源ETL產(chǎn)品、ETI的等。這些工具僅提供了技術元數(shù)據(jù)，幾乎沒有提供對業(yè)務元數(shù)據(jù)的支持。
2. 前端展現(xiàn)工具：
包括OLAP分析、報表和商業(yè)智能工具等，如的、 的BO，以及國內(nèi)廠商帆軟的／等。它們通過把關系表映射成與業(yè)務相關的事實和維來支持多維業(yè)務視圖，進而對數(shù)據(jù)倉庫中的數(shù)據(jù)進行多維分析。這些工具都提供了業(yè)務元數(shù)據(jù)與技術元數(shù)據(jù)相對應的語義層。
3. 建模工具：
為非技術人員準備的業(yè)務建模工具，這些工具可以提供更高層的與特定業(yè)務相關的語義。如CA的ERwin、的以及的Rose等。
4. 元數(shù)據(jù)存儲工具：
元數(shù)據(jù)通常存儲在專用的數(shù)據(jù)庫中，該數(shù)據(jù)庫就如同一個“黑盒子”，外部無法知道這些工具所用到和產(chǎn)生的元數(shù)據(jù)是如何存儲的。還有一類被稱為元數(shù)據(jù)知識庫（ ）的工具，它們獨立于其它工具，為元數(shù)據(jù)提供一個集中的存儲空間。這些工具包括微軟的，的和的WCC等。
5.元數(shù)據(jù)管理工具：
目前國內(nèi)的元數(shù)據(jù)管理工具大概有三類。一是像IBM、CA等公司都提供的專門工具，比如IBM收購得到的，CA的都是如此；二是像DAG的，開源產(chǎn)品 ，它們不依托于某項BI產(chǎn)品，是一種第三方的元數(shù)據(jù)管理工具；三是像普元、石竹這樣的集成商也有自己的元數(shù)據(jù)管理工具：普元、新炬網(wǎng)絡元數(shù)據(jù)管理系統(tǒng)、石竹等。
專門的元數(shù)據(jù)管理工具，對自家產(chǎn)品兼容較好，一旦涉及跨系統(tǒng)管理，就不盡如人意了。從國內(nèi)的實際應用來看，DAG的這一工具使用最多，目前所看到的在電信、金融領域建設的元數(shù)據(jù)管理項目基本上都是應用了這一產(chǎn)品。
我從互聯(lián)網(wǎng)上搜索了幾乎所有的元數(shù)據(jù)廠家：開源的產(chǎn)品，支持源碼下載試用，可以進行集成開發(fā)；普元下載后，配置麻煩，目前為止還沒有調(diào)通；其他公司產(chǎn)品均不提供下載試用。
四、元數(shù)據(jù)管理標準
沒有規(guī)矩不成方圓。元數(shù)據(jù)管理之所以困難，一個很重要的原因就是缺乏統(tǒng)一的標準。在這種情況下，各公司的元數(shù)據(jù)管理解決方案各不相同。近幾年，隨著元數(shù)據(jù)聯(lián)盟MDC（Meta Data ）的開放信息模型OIM（Open Model）和OMG組織的公共倉庫模型CWM（ Model）標準的逐漸完善，以及MDC和OMG組織的合并，為數(shù)據(jù)倉庫廠商提供了統(tǒng)一的標準，從而為元數(shù)據(jù)管理鋪平了道路。
從元數(shù)據(jù)的發(fā)展歷史不難看出，元數(shù)據(jù)管理主要有兩種方法：
目前OMG家的CWM（ ）標準已成為元數(shù)據(jù)管理界的統(tǒng)一標準：
OMG是一個擁有500多會員的國際標準化組織，著名的CORBA標準即出自該組織。公共倉庫元模型（ ）的主要目的是在異構環(huán)境下，幫助不同的數(shù)據(jù)倉庫工具、平臺和元數(shù)據(jù)知識庫進行元數(shù)據(jù)交換。2001年3月，OMG頒布了CWM 1.0標準。CWM模型既包括元數(shù)據(jù)存儲，也包括元數(shù)據(jù)交換，它是基于以下三個工業(yè)標準制定的：
以上是關于數(shù)據(jù)倉庫中的元數(shù)據(jù)管理系統(tǒng)的主要內(nèi)容，如果未能解決你的問題，請參考以下文章
數(shù)據(jù)陽光原創(chuàng):淺談數(shù)據(jù)倉庫中的元數(shù)據(jù)管理
數(shù)據(jù)陽光原創(chuàng):淺談數(shù)據(jù)倉庫中的元數(shù)據(jù)管理
數(shù)據(jù)必備知識：數(shù)據(jù)倉庫之數(shù)據(jù)存儲
數(shù)據(jù)必備知識：數(shù)據(jù)倉庫之數(shù)據(jù)存儲
數(shù)據(jù)倉庫的元數(shù)據(jù)管理
數(shù)據(jù)倉庫的元數(shù)據(jù)管理
2021年大數(shù)據(jù)：HDFS的元數(shù)據(jù)輔助管理
2021年大數(shù)據(jù)：HDFS的元數(shù)據(jù)輔助管理
4. 數(shù)據(jù)倉庫架構分層(重點)
4. 數(shù)據(jù)倉庫架構分層(重點)