來源 | 老石談芯（ID：laoshi_tanxin）
頭圖 | CSDN 下載自東方IC
目前，全世界超過90%的數據都是在過去的兩三年之內產生的。隨著人工智能、自動駕駛、5G、云計算等各種技術的不斷發展，海量數據都將會繼續源源不斷的產生。預計到2025年，數據總量將比現在增長10倍。在這些技術的發展中，很大的一部分都基于對大數據的研究和分析。正因為如此，很多人就形象的將數據比喻為人工智能時代的石油。
為了對海量的數據進行處理，基于傳統CPU的計算結構已經很難滿足需求了，我們需要更加強大的硬件和芯片，來更快、更好的完成這些工作。
此外，我們也需要更好的方法，比如使用各種人工智能的算法和模型，來幫助我們進行數據的分析和處理，并得到有意義的結論。如果把這兩者結合起來，就產生了各種各樣的人工智能芯片。
在這篇文章里，我們來一起看一下關于人工智能芯片的幾個有意思的事情。我想討論的重點，是在實際的工程實踐和應用場景里，如何對人工智能加速芯片進行合理的評價和選擇，以及各種不同的AI芯片的優缺點都有哪些。我會給大家介紹一個簡單的思維框架，幫助大家理解和思考。
討論：一個前提條件
在開始討論之前，我們首先要明確一些討論的前提條件，這些對于接下來的分析至關重要。很多人常犯的一個邏輯謬誤，就是在討論問題的時候缺少一個特定的討論范圍，這個英文叫做context，中文通常翻譯成語境，或者上下文。
說白了，這個就是我們在討論問題的時候，要圈定一個討論的范圍，大家都在這個圈圈里討論問題。這就像拳擊或者格斗比賽一樣，要在那個擂臺上比拼，不能跑到臺下打。否則的話，就會像老郭和于大爺說的那樣：
你和他講道理，他和你講法制；
你和他講法制，他和你講政治；
你和他講政治，他和你講國情；
你和他講國情，他和你講文化；
你和他講文化，他和你講道理......
同樣的，對于我們要討論的人工智能芯片，其實有很多不同的應用領域。從這個角度來看，AI芯片可以分成移動端和服務器端兩大類，也有很多人把兩類稱為終端和云端。
事實上，在這兩類應用中，人工智能芯片在設計要求上有著本質區別。比如，移動端更加注重AI芯片的低功耗、低延時、低成本，而部署在云端的AI芯片，可能會更加注重算力、擴展能力，以及它對現有基礎設施的兼容性等等。
對于這兩類人工智能芯片，我們很難直接進行比較。這就好像一棵大樹，它的樹干負責支撐起這顆樹，并且還能輸送各種營養物質。它的樹葉就負責進行光合作用，并生產營養物質。但是我們很難比較樹干和樹葉，究竟誰更有用。
在這篇文章里，我們要把討論的范圍縮小，只關注部署在服務器端的人工智能芯片的相關問題。
此外，我們還需要明確一下具體討論哪些AI芯片。這篇文章將主要對比四種最常見的芯片：CPU、GPU、ASIC和FPGA。其他的一些相對小眾的芯片種類，比如類腦芯片和量子芯片等等，就不列入討論的范圍了。
分析：一個思維框架
我們現在明確了討論的領域和對象，也就是部署在服務器端的四種常見的芯片，接下來應該確定的是，通過什么樣的方式來衡量這些AI芯片的優缺點。
在這里給大家介紹一個我們在工程實踐里經常使用的思維框架。具體來說，當我們考慮在數據中心里大量部署AI芯片的時候，通常需要考慮以下幾個重要的因素。
首先就是算力，也就是芯片的性能。這里的性能有很多方面，比如這個芯片做浮點或者定點數運算的時候，每秒的運算次數，以及這個芯片的峰值性能和平均性能等等。
但是，算力或者性能其實并不是衡量AI芯片好壞的唯一標準。事實上，在很多時候它甚至不是最重要的標準。那么，還有哪些考慮的因素呢？
在這個思維框架里，一共有五個衡量因素。除了性能之外，還有靈活性、同構性、成本和功耗四點。
其中，靈活性指的是這個AI芯片對不同應用場景的適應程度。也就是說，這個芯片能不能被用于各種不同的AI算法和應用。
同構性指的是，當我們大量部署這個AI芯片的時候，我們能否重復的利用現有的軟硬件架構和資源，還是需要引入其他額外的東西。舉個簡單的例子，比如我的電腦要外接一個顯示器，如果這個顯示器的接口是HDMI，那么就可以直接連。但是如果這個顯示器的接口只有VGA或者DVI或者其他接口，那么我就要買額外的轉接頭才行。這樣，我們就說這個設備，也就是顯示器，它對我現有系統的同構性不好。
成本和功耗就比較好理解了。成本指的就是錢和時間，當然如果細摳的話，還有投入的各種人力物力，以及沒有選擇其他芯片帶來的機會成本等等。不過歸根到底還是錢和時間。成本包含兩大部分，一部分是芯片的研發成本，另一部分是芯片的部署和運維成本。
功耗就更好理解了，指的就是某種AI芯片對數據中心帶來的額外的功耗負擔。
比較：4種芯片，5個維度
現在我們知道了這個思維框架里的五個重要元素，那么我們就能對前面提到的四種芯片，也就是CPU、GPU、ASIC和FPGA做一個定性的比較了。這里聲明一下，這些對比僅代表我個人的觀點，也歡迎大家在留言里和我交流你的想法。
1、CPU
對于CPU來說，它仍然是數據中心里的主要計算單元。事實上，為了更好的支持各種人工智能應用，傳統CPU的結構和指令集也在不斷迭代和變化。
比如，英特爾最新的Xeon可擴展處理器，就引入了所謂的DL Boost，也就是深度學習加速技術，來加速卷積神經網絡和深度神經網絡的訓練和推理性能。但是相比其他三種芯片，CPU的AI性能還是有一定差距。
CPU最大的優勢就是它的靈活性和同構性。對于大部分數據中心來說，它們的各種軟硬件基礎設施都是圍繞CPU設計建設的。所以CPU在數據中心的部署、擴展、運維，包括生態其實都已經非常成熟了。它的功耗和成本不算太低，但也還在可接受的范圍內。
2、GPU
GPU有著大規模的并行架構，非常適合對數據密集型的應用進行計算和處理，比如深度學習的訓練過程。和CPU相比，GPU的性能會高幾十倍甚至上千倍。因此業界的很多公司，都在使用GPU對各種AI應用進行加速。
GPU的另外一個優勢，是它有著比較成熟的編程框架，比如CUDA，或者OpenCL等等，這是GPU在AI領域得到爆發最直接的推動力量之一，也是GPU相比FPGA或者ASIC的最大優勢之一。
但是，GPU的最大問題就是它的功耗。比如，英偉達的P100、V100和A100 GPU的功耗都在250W到400W之間。相比于FPGA或ASIC的幾十瓦甚至幾瓦的功耗而言，這個數字顯得過于驚人了。
而對于神經網絡的訓練來說，它往往需要大量密集的GPU集群來提供充足的算力。這樣一來，一個機柜的功耗就可能會超過幾十千瓦。這就需要數據中心為它修改供電和散熱等結構。比如傳統的數據中心大都靠風扇散熱，但如果要部署GPU，就可能要改成水冷散熱。對于大數據中心來說，這是筆巨大的開銷。
伴隨著高功耗，更大的問題實際是高昂的電費開支。要知道，現代數據中心的運維成本里，電費開支占40%甚至更高。所以，對于GPU在數據中心里的大規模部署，我們通常考慮的是它所帶來的性能優勢，能否抵消它帶來的額外電費。
3、ASIC
ASIC就是所謂的人工智能專用芯片。這里的典型代表，就是谷歌阿爾法狗里用的TPU。根據谷歌的數據，TPU在阿爾法狗里替代了一千多個CPU和上百個GPU。
在我們的衡量體系里，這種AI專用芯片的各項指標都非常極端，比如它有著極高的性能和極低的功耗，和GPU相比，它的性能可能會高十倍，功耗會低100倍。
但是，研發這樣的芯片有著極高的成本和風險。與軟件開發不同，芯片開發全程都需要大量的人力物力投入，開發周期往往長達數年，而且失敗的風險極大。放眼全球，同時擁有雄厚的資金實力和技術儲備以進行這類研發的公司，大概用兩只手就能數的出來。也就是說，這種方案對于大多數公司而言并可能沒有直接的借鑒意義。
此外呢，AI專用芯片的靈活性往往比較低。顧名思義，包括谷歌TPU在內的AI專用芯片，通常是針對某種特定應用而設計開發，因此它可能很難適用于其他的應用。在使用成本的角度，如果要采用基于ASIC的方案，就需要這類目標應用有足夠的使用量，以分攤高昂的研發費用。同時，這類應用需要足夠穩定，避免核心的算法和協議不斷變化。而這對于很多AI應用來說是不現實的。
值得一提的是，我國在人工智能專用芯片領域涌現出來了一波優秀的公司，比如寒武紀、地平線，還有之前被賽靈思收購的深鑒科技等等。受篇幅限制，關于這些公司的具體產品和技術，這里就不再展開了。
4、FPGA
最后再來說一下FPGA。我個人認為，FPGA能夠在這些性能指標中達到比較理想的平衡。當然了，我目前的職業就和FPGA緊密相關，所以這個結論有屁股決定腦袋之嫌，謹供大家借鑒。
在性能方面，FPGA可以實現定制化的硬件流水線，并且可以在硬件層面進行大規模的并行運算，而且有著很高的吞吐量。
FPGA最主要的特點其實是它的靈活性，它可以很好的應對包括計算密集型和通信密集型在內的各類應用。此外，FPGA有著動態可編程、部分可編程的特點，也就是說，FPGA可以在同一時刻處理多個應用，也可以在不同時刻處理不同的應用。
在數據中心里，目前FPGA通常以加速卡的形式配合現有的CPU進行大規模部署。FPGA的功耗通常為幾十瓦，對額外的供電和散熱等環節沒有特殊要求，因此可以兼容數據中心的現有硬件基礎設施。
在衡量AI芯片的時候，我們也經常使用性能功耗比這個標準。也就是說，即使某種芯片的性能非常高，但是功耗也非常高的話，那么這個芯片的性能功耗比就很低。這也是FPGA相比GPU更有優勢的地方。
在開發成本方面，FPGA的一次性成本其實遠低于ASIC，因為FPGA在制造出來之后，可以通過重復編程來改變它的邏輯功能。而專用芯片一旦流片完成就不能修改了，但是每次流片都會耗資巨大。這也是為什么包括深鑒在內的很多AI芯片的初創企業，都使用FPGA作為實現平臺的原因。
所以說，相比其他硬件加速單元而言，FPGA在性能、靈活性、同構性、成本和功耗五個方面達到了比較理想的平衡，這也是微軟最終選用FPGA，并在數據中心里進行大規模部署的主要原因，有興趣的朋友，可以看之前的文章《FPGA在微軟數據中心的前世今生》。
結語
在這篇文章里，我們討論了人工智能芯片的主要分類，比如按應用場景，可以分成服務器端和移動端兩類。我們介紹了四種可以用來執行人工智能應用的芯片，分別是CPU、GPU、ASIC和FPGA。我們還根據一個思維框架，從性能、靈活性、同構性、功耗、成本五個方面，分別衡量了這四種芯片的優缺點。
事實上，對于這個問題并沒有一個唯一的答案。我們只有根據特定的“Context”，也就是具體情況具體分析，才能找到最適用于某個應用的AI芯片。而這種理性的思維方式，其實也適用于我們日常工作和生活的各種事情，這也是本文想要傳達的最重要的內容。
點分享
標題：打游戲也輸了！新款“阿爾法”擊敗人類玩家
新華社訊 （記者張家偉）繼圍棋“人機大戰”成功擊敗人類頂尖圍棋高手后，谷歌旗下的人工智能技術公司“深層思維”的人工智能程序“阿爾法星”，與人類職業選手在經典即時戰略電腦游戲《星際爭霸2》對戰中，取得壓倒性勝利。
據“深層思維”公司介紹，自去年12月以來，該公司開發的“阿爾法星”人工智能程序與高水平人類職業選手先后舉行了11場比賽。在這一系列“人機大戰”中，人工智能程序最終以10比1擊敗人類選手。只有在1月24日舉行的現場比賽中，“阿爾法星”由于游戲視角受限，人類選手才勉強贏下一場。
“深層思維”公司聯合研發負責人戴維·西爾弗在比賽后指出：“盡管后續還有很多工作要做，但是我希望未來人們在回望今天時，會把這一比賽結果當成人工智能系統的能力又向前邁了一步的表現。”
據介紹，與圍棋棋盤上所有棋子都對雙方可見不同，此類游戲中有“戰爭迷霧”，一方需要猜測和偵察對方的行動，屬于“不完美信息博弈”，并且要求人工智能必須實時做出反應，這對人工智能的要求更高。
“深層思維”公司表示，在“阿爾法星”之前，還沒有任何人工智能系統能夠在《星際爭霸2》中能與人類職業選手的技巧比擬。而“阿爾法星”能夠在這場“人機大戰”中大比分勝出的一個重要基礎，就是它使用了深度神經網絡，研究人員通過監督學習和強化學習的方式，直接利用游戲的原始數據來訓練，以模仿學習的思路，讓模型快速學到高水平人類玩家在游戲中使用的策略和操作。
此外，《星際爭霸2》等游戲中有一個“手速”的概念，用APM（每分鐘操作指令數）來衡量。在基準測試中，“阿爾法星”每分鐘能夠執行約280個操作指令，雖然遠低于人類職業選手，但是其動作更精確，也有助于在比賽中取得勝利。
下贏圍棋、打贏電腦游戲，這都能給人工智能的發展帶來什么呢？“深層思維”的研究團隊認為，訓練“阿爾法星”的先進方法以及算法的先進架構未來都會有助研究人員積累更多經驗，最終設計出能夠應對現實生活中不少復雜問題的人工智能程序，比如天氣預測、氣候模型計算以及語言理解等。
來源：科技日報
個世界上最簡單的東西，就是白色和黑色——黑白分明。
這個世界上最復雜的東西，也是黑色和白色，這兩種顏色組成的圍棋，能演繹出宇宙中無限的可能。
聶衛平曾經被認為是最理解黑白之道的高手，當Master風卷殘云般連取53勝后，聶衛平坐到了它的對面。
比武臺是一臺看起來并不起眼的筆記本電腦，在昨天下午卻是圍棋江湖的最高殿堂。
當后輩們一一倒在了Master面前，連柯潔都被Master贏得無話可說的時候，聶衛平知道自己不能再沉默了。
這些年聶衛平已經不再輕易出手，天下間，如果還有一個“人”值得聶衛平去等，無疑就是Master。聶衛平的出手多少有些悲壯的感覺，江湖上一片力挺之聲““聶老悲壯地復出，一萬個贊！！我們陪你一起輸，聶老！！！”
下午兩點，執黑先行的Master下出第一手，聶衛平就覺得是怪招。每一個和Master下過棋的棋手，都無法理解Master的思路，而他們也沒有一個能逃過一劫。
所以他們只能叫棋手，而Master是一個殺手。
Master很快在右上角吃掉了聶衛平一塊棋，并且將確立的優勢保持到了最后。第25分鐘Master突然掉線，但這卻沒有影響他的又一場完勝——在第254手的時候，沒有任何勝算的聶衛平以7目半的較大劣勢落敗。
出于對昔日盟主的尊重，Master把比賽用時調整為每方1分鐘一手，結束之后，Master在電腦上打出一行繁體字：謝謝聶老師。
只有這一刻，人類才能感受到Master的一絲溫暖。
1個小時的交手，聶衛平留下了一句話，他悟通了當年日本名譽棋圣藤澤秀行老師說的：棋道一百，我只知七。
他知道，這個江湖已經有了新的盟主。
人工智能攻占圍棋 人類還能用什么套路來破解？
公平何在？
有些人為了江湖地位打拼一生，卻始終沒有出人頭地。
有些人短短幾天時間里，就改變整個江湖的秩序。
一周之前，江湖上還沒有人知道Master的名字，這個不知天高地厚的后生在短短幾天時間里，在弈城網和野狐圍棋兩大擂臺兵不血刃，就奠定了自己的江湖位置。
勝利對于Master僅僅只是一個數字，唯一的一場被判和局，還是因為陳耀燁掉線。
如果說去年3月份李世石和阿爾法圍棋的人機大戰，因為李世石贏了一盤讓人類存在期待的話，那么現在的這種期待已經徹底變成了幻想，甚至是神話。
在江湖中，“實力”就是公平。
一直以來，圍棋都被看作是人類在智力游戲上的光明頂，復雜多變的下法曾經被人工智能領域的科學家認為難以迅速突破。擁有361個交叉點的圍棋擁有遠比其它一些智力游戲有更多的選擇空間，圍棋的可能下法數量達到10的171次方，超過了可觀測宇宙范圍內的原子總數（10的80次方），而且對弈中人類的靈性也會對勝負產生重要的作用。
但這一次，人類輸得無話可說。
棋手在人工智能面前已經完敗，但永不服輸的人類真的甘愿束手就擒？
陳耀燁的掉線成就了一堆段子手，“拔掉電線”是聰明的人類想出的戰勝人工智能的最快捷的方法——在江湖中，這樣的武器被稱為唐門暗器。
“以其人之道還治其人之身”也是江湖上的一種手段，研究人工智能的棋譜然后進行對弈，不過人類的計算能力和升級能力要遠遠落后人工智能，這或許不會是一個有效的方式。
“抬走，下一個”。這是圍觀比賽的棋迷們惡搞的話語，一個個職業棋手倒下，人類棋手戰勝人工智能的期待，或許真的就和人類在長跑中戰勝法拉利賽車一樣匪夷所思。
那么人類還有堡壘嗎——比如麻將？
柯潔在打點滴時還關心著棋局
像是對人類長者的致敬——只有對手是64歲的棋圣聶衛平時，Master改變了游戲規則，比賽時間由30秒一手改成1分鐘一手。但Master的致敬只止于此，254手過后，它再次勝出，留下了一行字“謝謝聶老師”。
這個化名“Master”的“人工智能”，在過去的幾天時間把原本平靜的江湖攪得翻江倒海。幾十名頂級高手放下門派之見連番上陣，卻一一敗退，Master談笑間已經連勝60場，中日韓三國凡是有點名號的高手都成為其手下敗將，昨晚就算孟泰齡和陳耀樺這樣一等一的高手聯手也難逃一敗，前晚就已敗下陣來的當今第一人柯潔少俠更是氣急之下入院打起了點滴，病中還記掛戰局：“作為一開始就知道真身是誰的我來講，是多么希望網上的快棋，人類能贏一盤。若不是住院，我將用上那準備了一個星期的最后一招……”
圍棋江湖告急，談Master色變，“星宿老仙”古力的10萬懸賞無人認領。行跡詭異的它在贏下第59盤后突然自報家門——“阿爾法狗”黃博士，沒錯，就是去年3月狂虐李世石的“阿爾法狗”。閉關10個月再復出，“阿爾法狗”似乎強大到了沒有弱點。它同時宣布和古力再下一盤就將封刀。
毫無懸念，執白兩目半放倒古力60連勝，昨晚10點多，“阿爾法狗”事了拂袖去，只留下一地的驚詫……記者 徐毅
最后一個挑戰者古力接受快報專訪
問：古老師，最后一盤很精彩啊，惜敗啊！
古力：盡力了……
問：還期待你創造奇跡呢？
古力：好難……
問：怎么看這60盤棋？
古力：需要慢慢欣賞。
問：大師的套路很深啊，忍到今天才公布身份。水平比去年對李世石時如何？精進幾成？
古力：這個我說不上，畢竟沒下過之前的版本。應該厲害了至少一個貼目。
問：我是不懂，看直播的時候就知道點形勢分析，一度你還占優的……
古力：我沒優過……
問：現在最大的感觸是什么？
古力：秀行老師說過，圍棋一百，他知其七。太對了……
問：圍棋一百，他知其七？您的意思是，大師將給圍棋帶來革命性的變化？
古力：是的。
問：這次的基本上都是快棋，如果下慢棋有機會嗎？
古力：慢棋也許更難，但變數會多一些。
記者 沈志軍
這些年被“人工智能”闖入的江湖
1956年 在達特茅斯會議上，美國數學博士約翰·麥卡錫首次提出了“人工智能”（AI）這一概念。
國際象棋
1988年 首次有電腦戰勝國際象棋大師級人物本特·拉森。
1997年5月 當時世界排名第一的國際象棋大師卡斯帕羅夫在和“深藍”超級計算機對決中以2.5:3.5 （1勝2負3平）落敗。第二局的完敗讓卡斯帕羅夫深受打擊，他的斗志和體力在隨后3局被拖垮，在決勝局中僅19步就宣布放棄。
中國象棋
2006年 “浪潮杯”首屆中國象棋人機大戰中，5位中國象棋特級大師最終敗在超級計算機浪潮天梭手下。
圍棋
2016年1月 “阿爾法圍棋”以5∶0戰勝歐洲圍棋冠軍、前中國職業棋手樊麾，成為第一個擊敗人類職業棋手的人工智能。
2016年3月 “阿爾法圍棋”以4∶1完勝韓國棋手李世石九段。
未來
人工智能將廣泛應用在語言、自動駕駛、醫療等領域
2050年 80%以上的車都是無人駕駛
預計到2050年左右，路上80%以上的車輛都是自主行駛，偶爾的人工駕駛只是為了享受駕駛的樂趣而已。 ——中國人工智能學會理事長李德毅
記者趙松綜合報道