大數(shù)據(jù)小思考 (二): 數(shù)據(jù)過濾與銷毀會成為下一個熱點技術(shù)嗎？
按照IDG的說法，地球上的數(shù)據(jù)在以兩年翻一番的速度增長，如果這個統(tǒng)計屬實，我們很容易想到的就是著名的棋盤存糧故事:
在印度有一個古老的傳說：舍罕王打算獎賞國際象棋的發(fā)明人——宰相西薩·班·達(dá)依爾。國王問他想要什么，他對國王說：“陛下大數(shù)據(jù)測試工具，請您在這張棋盤的第1個小格里，賞給我1粒麥子，在第2個小格里給2粒，第3小格給4粒，以后每一小格都比前一小格加一倍。請您把這樣擺滿棋盤上所有的64格的麥粒，都賞給您的仆人吧！”國王覺得這要求太容易滿足了大數(shù)據(jù)測試工具，就命令給他這些麥粒。當(dāng)人們把一袋一袋的麥子搬來開始計數(shù)時，國王才發(fā)現(xiàn)：就是把全印度甚至全世界的麥粒全拿來，也滿足不了那位宰相的要求。
每一字節(jié)數(shù)據(jù)的產(chǎn)生、存儲、應(yīng)用都需要容器占用和能源消耗，雖然技術(shù)進(jìn)步在不斷提高數(shù)據(jù)存儲密度和降低數(shù)據(jù)處理功耗，但是解決不了根本問題。所以有預(yù)測再過十年數(shù)據(jù)中心的能源消耗會讓人類不可承受。
解決之道是什么？
正如邊緣計算成為現(xiàn)在熱點一樣，我預(yù)測數(shù)據(jù)的自動過濾與銷毀很快會被學(xué)界關(guān)注。
這個時間點在什么時候？
成本收益平衡是人類一切經(jīng)濟(jì)活動的亙古之道。當(dāng)有一天人們發(fā)現(xiàn)對數(shù)據(jù)的記錄存儲加工所付出的代價大于預(yù)期收益，就必然產(chǎn)生對數(shù)據(jù)要有所取舍的需求，有了需求，就有研發(fā)的動力和人才。
大數(shù)據(jù)時代剛剛開始，人們就像一個嬰幼兒對每一個玩具都充滿好奇一樣對認(rèn)為每一個字節(jié)都有其價值。可是，必然會有那么一天，數(shù)據(jù)會被分類，被評估為無價值的數(shù)據(jù)從源頭就不會產(chǎn)生，被評估失去價值的數(shù)據(jù)會被自動銷毀。今天，不同的數(shù)據(jù)應(yīng)用在對同樣的數(shù)據(jù)源在不斷地清洗加工，消耗能源，就像是不斷有后來者對本已被篩選無數(shù)次的沙子重新淘金一樣，在傳統(tǒng)產(chǎn)業(yè)中我們會認(rèn)為這樣做很愚蠢，可是在今天的數(shù)字經(jīng)濟(jì)中這樣愚蠢的事情卻在不斷發(fā)生。
所以，大數(shù)據(jù)的下一個熱點反而可能是數(shù)據(jù)過濾與銷毀，看起來非常矛盾。但是《道德經(jīng)》有云:月盈則虧。
反者，道之動也。
這是一個非主流預(yù)測，讓我們拭目以待吧！