編譯：文強(qiáng)
【新智元導(dǎo)讀】在深度學(xué)習(xí)應(yīng)用突飛猛進(jìn)的現(xiàn)在，我們比任何時(shí)候都急需理論上的突破。日前，希伯來(lái)大學(xué)計(jì)算機(jī)科學(xué)家和神經(jīng)學(xué)家 等人提出了一種叫做“信息瓶頸”的理論，在AI圈激發(fā)熱議。信息瓶頸理論認(rèn)為，深度神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中像把信息從瓶頸中擠壓出去一般，去除噪音輸入，只保留與通用概念最相關(guān)的特征。認(rèn)為這一理論不但能夠解釋深度學(xué)習(xí)的根本原理，還能解釋人類學(xué)習(xí)過(guò)程。表示，信息瓶頸理論是近年來(lái)少有的突破，“這簡(jiǎn)直太有趣了，”寫道：“我還得聽(tīng)上10,000次才能真正理解它，但如今聽(tīng)一個(gè)演講，里面有真正原創(chuàng)的想法，而且可能解決重大的問(wèn)題，真是非常罕見(jiàn)了。”
利用深度神經(jīng)網(wǎng)絡(luò)的機(jī)器已經(jīng)學(xué)會(huì)了交談、開(kāi)車，在玩視頻游戲和下圍棋時(shí)擊敗了世界冠軍，還能做夢(mèng)、畫畫，幫助進(jìn)行科學(xué)發(fā)現(xiàn)，但同時(shí)它們也深深地讓其發(fā)明者困惑，誰(shuí)也沒(méi)有料到所謂的“深度學(xué)習(xí)”算法能做得這么好。沒(méi)有基本的原則指引這些學(xué)習(xí)系統(tǒng)，除了一些模糊的來(lái)自人類大腦的設(shè)計(jì)靈感（而關(guān)于這一點(diǎn)，實(shí)際上也沒(méi)有人真正懂得多少）。
像大腦一樣，深度神經(jīng)網(wǎng)絡(luò)也有很多層神經(jīng)元。當(dāng)神經(jīng)元被激活時(shí)，它會(huì)發(fā)出信號(hào)，連接上面一層的神經(jīng)元。在深度學(xué)習(xí)的過(guò)程中，網(wǎng)絡(luò)中的連接會(huì)根據(jù)需要被加強(qiáng)或減弱，從而讓網(wǎng)絡(luò)更好地根據(jù)輸入（例如一張狗的照片的像素）發(fā)送信號(hào)，信號(hào)層層向上，經(jīng)過(guò)所有相關(guān)的神經(jīng)元，這些神經(jīng)元都與“狗”這個(gè)概念的高層抽象有關(guān)。一個(gè)深度神經(jīng)網(wǎng)絡(luò)在“學(xué)習(xí)”過(guò)數(shù)以千計(jì)的狗的照片后，能像人一樣準(zhǔn)確地識(shí)別出從未見(jiàn)過(guò)的照片中的狗。
從具體個(gè)例到通用概念的飛躍，讓深度神經(jīng)網(wǎng)絡(luò)擁有了如同人類在推理、創(chuàng)作時(shí)所展現(xiàn)出的“智能”。專業(yè)人員想知道，是什么賦予了神經(jīng)網(wǎng)絡(luò)泛化的能力，也想知道人類的大腦在多大程度上也在進(jìn)行類似的活動(dòng)。
近年來(lái)少有的干貨演講，說(shuō)他要看上10000遍才懂
上月，在柏林舉行的一場(chǎng)演講為這一疑問(wèn)提供了一個(gè)可能的回答，這場(chǎng)演講的視頻在人工智能研究人員間廣為分享。
演講中，希伯來(lái)大學(xué)的計(jì)算機(jī)科學(xué)家和神經(jīng)學(xué)家 ，提出了一種解釋深度學(xué)習(xí)工作原理的新理論，并給出了證據(jù)支撐。認(rèn)為，深度神經(jīng)網(wǎng)絡(luò)根據(jù)一種被稱為“信息瓶頸”（ ）的過(guò)程在學(xué)習(xí)，他和兩位合作者最早在1999年對(duì)這一過(guò)程進(jìn)行了純理論方面的描述。
在柏林的演講《深度學(xué)習(xí)：理論、算法和應(yīng)用》，時(shí)長(zhǎng)約58分鐘。評(píng)價(jià)說(shuō)，這是近年來(lái)少有的干貨演講
信息瓶頸理論認(rèn)為，網(wǎng)絡(luò)像把信息從一個(gè)瓶頸中擠壓出去一般，去除掉那些含有無(wú)關(guān)細(xì)節(jié)的噪音輸入數(shù)據(jù)，只保留與通用概念（ ）最相關(guān)的特征。和他的學(xué)生Ravid -Ziv的最新實(shí)驗(yàn)，展示了深度學(xué)習(xí)過(guò)程中這種“擠壓”是如何發(fā)生的（至少在他們所研究的案例里）。
的發(fā)現(xiàn)在AI研究圈激起了強(qiáng)烈的反向。 的Alex Alemi說(shuō)：“我認(rèn)為信息瓶頸的想法可能在未來(lái)深度神經(jīng)網(wǎng)絡(luò)的研究中非常重要。”Alemi已經(jīng)開(kāi)發(fā)了新的近似方法，在大規(guī)模深度神經(jīng)網(wǎng)絡(luò)中應(yīng)用信息瓶頸分析。Alemi說(shuō)，信息瓶頸可能“不僅能夠用于理解為什么神經(jīng)網(wǎng)絡(luò)有用，也是用于構(gòu)建新目標(biāo)和新網(wǎng)絡(luò)架構(gòu)的理論工具”。
另外一些研究人員則持懷疑態(tài)度，認(rèn)為信息瓶頸理論不能完全解釋深學(xué)習(xí)的成功。但是，紐約大學(xué)的粒子物理學(xué)家Kyle ——他使用機(jī)器學(xué)習(xí)來(lái)分析大型強(qiáng)子對(duì)撞機(jī)的粒子碰撞——表示，一種通用的學(xué)習(xí)原理（a of ），“聽(tīng)上去有些道理”。
深度學(xué)習(xí)先驅(qū) 在看完的柏林演講后發(fā)電子郵件給。“這簡(jiǎn)直太有趣了，”寫道：“我還得聽(tīng)上10,000次才能真正理解它，但如今聽(tīng)一個(gè)演講，里面有真正原創(chuàng)的想法，而且可能解決重大的問(wèn)題，真是非常罕見(jiàn)了。”
認(rèn)為bp神經(jīng)網(wǎng)絡(luò)原理及其在字符 1 識(shí)別中的應(yīng)用，信息瓶頸是學(xué)習(xí)的一個(gè)基本原則，無(wú)論是算法也好，蒼蠅也罷bp神經(jīng)網(wǎng)絡(luò)原理及其在字符 1 識(shí)別中的應(yīng)用，任何有意識(shí)的存在或突發(fā)行為的物理學(xué)計(jì)算，大家最期待的答案——“學(xué)習(xí)最重要的部分實(shí)際上是忘記”。
香農(nóng)錯(cuò)了——利用信息論，我們能夠精確定義“相關(guān)性”
很早便開(kāi)始考慮信息瓶頸的問(wèn)題，那時(shí)候其他研究人員也才剛剛開(kāi)始醞釀深度神經(jīng)網(wǎng)絡(luò)，盡管當(dāng)時(shí)無(wú)論是信息瓶頸還是深度神經(jīng)網(wǎng)絡(luò)都還沒(méi)有得名。那是20世紀(jì)80年代，在思考人類是如何做語(yǔ)音識(shí)別的——語(yǔ)音識(shí)別是當(dāng)時(shí)AI的一個(gè)重大挑戰(zhàn)。意識(shí)到，問(wèn)題的關(guān)鍵是相關(guān)性：說(shuō)出來(lái)的一個(gè)詞最相關(guān)的特征是什么，我們又該如何從重音、語(yǔ)調(diào)、模糊音等變量中將這個(gè)特征計(jì)算出來(lái)？在通常情況下，當(dāng)我們面對(duì)現(xiàn)實(shí)生活中汪洋大海般的數(shù)據(jù)時(shí)，哪些信號(hào)是我們會(huì)保留下來(lái)的？
“相關(guān)信息（ ）的概念在歷史上提到了許多次，但從來(lái)沒(méi)有被正確地形式化，”在上個(gè)月接受采訪時(shí)說(shuō)：“多年來(lái)，人們認(rèn)為信息論不是考慮相關(guān)性的正確方式，這個(gè)誤解可以一直追溯到香農(nóng)本人。”
克勞德·香農(nóng)，信息論的創(chuàng)始人，從某種程度上說(shuō)，是香農(nóng)解放了人類對(duì)信息的研究，讓信息能夠以抽象的0、1形式和純粹的數(shù)學(xué)意義被研究。正如所說(shuō)的那樣，香農(nóng)認(rèn)為“信息并非關(guān)乎語(yǔ)義”。但是，認(rèn)為，這是不正確的。
意識(shí)到，利用信息論，“你能精確定義‘相關(guān)’（）”。
希伯來(lái)大學(xué)計(jì)算機(jī)科學(xué)家和神經(jīng)學(xué)家
假設(shè)X是一個(gè)復(fù)雜的數(shù)據(jù)集，就像一張狗的照片的像素，而Y是這些數(shù)據(jù)代表的一個(gè)更為簡(jiǎn)單的變量，比如單詞“狗”。你可以任意壓縮X而不丟失預(yù)測(cè)Y的能力，將X中所有與Y“相關(guān)”的信息捕獲下來(lái)。在他們1999年的論文中，和他的共同作者， （現(xiàn)在在谷歌）和 （現(xiàn)在在普林斯頓大學(xué)），將這一過(guò)程轉(zhuǎn)換成一個(gè)數(shù)學(xué)優(yōu)化問(wèn)題并且提出了數(shù)學(xué)公式。這是一個(gè)沒(méi)有殺手級(jí)應(yīng)用的核心基礎(chǔ)概念。
“我沿著這條路在各種不同的情景中思考了30年，”說(shuō)：“我唯一的運(yùn)氣就是深度神經(jīng)網(wǎng)絡(luò)變得如此重要。”
一篇論文的驚人發(fā)現(xiàn)：深度學(xué)習(xí)與物理重整化是完全相同的過(guò)程
深度神經(jīng)網(wǎng)絡(luò)背后的概念已經(jīng)存在了幾十年，但它們?cè)谡Z(yǔ)音和圖像識(shí)別任務(wù)中的表現(xiàn)在最近幾年才開(kāi)始起飛，得益于改進(jìn)了訓(xùn)練方案和更強(qiáng)大的計(jì)算機(jī)處理器。在讀了物理學(xué)家David 和 Mehta在2014年發(fā)表的一篇論文后，開(kāi)始注意到深度學(xué)習(xí)與信息瓶頸理論的關(guān)聯(lián)。
David 和 Mehta兩人發(fā)現(xiàn)，發(fā)明的“深度信念網(wǎng)絡(luò)”（DBN），在一種特定的情況下，酷似物理學(xué)中的重整化（），也就是以粗粒度的方式獲取物理系統(tǒng)的細(xì)節(jié)，從而計(jì)算其整體狀態(tài)。當(dāng)和Mehta將深度信念網(wǎng)絡(luò)應(yīng)用于一個(gè)處于“臨界點(diǎn)”的磁力模型時(shí)（這時(shí)該系統(tǒng)是分形，在任意尺度都自相似），他們發(fā)現(xiàn)，網(wǎng)絡(luò)會(huì)自動(dòng)使用重整化般的過(guò)程來(lái)發(fā)現(xiàn)模型的狀態(tài)。
這一發(fā)現(xiàn)令人震驚，正如生物物理學(xué)家Ilya 當(dāng)時(shí)評(píng)論所說(shuō)的那樣，它表明了“在統(tǒng)計(jì)物理的背景下提取相關(guān)特征和在深度學(xué)習(xí)的背景下提取相關(guān)特征并不只是類似，而是完完全全的同一個(gè)。”
物理學(xué)家David 和 Mehta在2014年的論文，證明在特定情況下深度學(xué)習(xí)等同于物理中的重整化技術(shù)，這讓注意到信息瓶頸理論與深度學(xué)習(xí)之間的關(guān)聯(lián)
唯一的問(wèn)題是，在一般情況下，現(xiàn)實(shí)世界并不是分形。說(shuō)：“我不會(huì)說(shuō)[重整化步驟]就是深度學(xué)習(xí)在處理自然圖像時(shí)效果這么好的原因。”
但——他當(dāng)時(shí)正在接受胰腺癌化療——意識(shí)到，無(wú)論是粗粒度過(guò)程還是深度學(xué)習(xí)，都可以被一個(gè)更廣泛通用的想法所涵蓋。“對(duì)科學(xué)和對(duì)我以前想法的思考是我的治療和康復(fù)的重要組成部分，”說(shuō)。
的學(xué)生Noga （左）和Ravid -Ziv，他們幫助開(kāi)發(fā)了深度學(xué)習(xí)信息瓶頸理論。
信息瓶頸：網(wǎng)絡(luò)在抽取相關(guān)性時(shí)的理論邊界
2015年，和他的學(xué)生Noga 假設(shè)深度學(xué)習(xí)是一個(gè)信息瓶頸過(guò)程，盡可能地壓縮噪聲數(shù)據(jù)，同時(shí)保留數(shù)據(jù)所代表的信息。和-Ziv對(duì)深度神經(jīng)網(wǎng)絡(luò)的新實(shí)驗(yàn)揭示了瓶頸過(guò)程如何實(shí)際發(fā)生的。在一種情況下，研究人員使用小型神經(jīng)網(wǎng)絡(luò)，使用隨機(jī)梯度下降和BP，經(jīng)過(guò)訓(xùn)練后，能夠用1或0（也即“是狗”或“不是狗”）標(biāo)記輸入數(shù)據(jù)，并給出其282個(gè)神經(jīng)連接隨機(jī)初始強(qiáng)度，然后跟蹤了網(wǎng)絡(luò)在接收3000個(gè)樣本輸入數(shù)據(jù)集后發(fā)生了什么。
實(shí)驗(yàn)中，和-Ziv跟蹤了每層網(wǎng)絡(luò)保留了多少輸入中的信息和輸出標(biāo)簽中的信息。結(jié)果發(fā)現(xiàn)，信息經(jīng)過(guò)逐層傳遞，最終收斂到信息瓶頸的理論邊界：也就是、和在他們1999年論文中推導(dǎo)出的理論界限，代表系統(tǒng)在抽取相關(guān)信息時(shí)能夠做到的最好的情況。在這個(gè)邊界上，網(wǎng)絡(luò)在沒(méi)有犧牲準(zhǔn)確預(yù)測(cè)標(biāo)簽?zāi)芰Φ那闆r下，盡可能地壓縮輸入。
和-Ziv還提出了一個(gè)有趣的發(fā)現(xiàn)，即深度學(xué)習(xí)分為兩個(gè)階段：一個(gè)簡(jiǎn)短的“擬合”階段，在此期間，網(wǎng)絡(luò)學(xué)著去標(biāo)注其訓(xùn)練數(shù)據(jù)，以及一個(gè)更長(zhǎng)時(shí)間的“壓縮”階段，在這個(gè)階段網(wǎng)絡(luò)變得能夠泛化，也即標(biāo)記新的測(cè)試數(shù)據(jù)。
作者在論文中指出，他們?cè)趯?shí)驗(yàn)中首次觀察到了隨機(jī)梯度下降優(yōu)化過(guò)程中兩個(gè)獨(dú)特的階段，經(jīng)驗(yàn)誤差最小化（ERM）和表示壓縮。上圖展示了SGD過(guò)程中信息逐層傳遞收斂的情況。
在深度神經(jīng)網(wǎng)絡(luò)通過(guò)隨機(jī)梯度下降調(diào)整其連接權(quán)重的過(guò)程中，首先，網(wǎng)絡(luò)存儲(chǔ)的關(guān)于輸入的數(shù)據(jù)會(huì)大致保持恒定或者稍微增加一點(diǎn)點(diǎn)，這時(shí)網(wǎng)絡(luò)連接會(huì)進(jìn)行調(diào)整，為輸入中的模式進(jìn)行編碼，更好地?cái)M合標(biāo)簽。有一些專家也將這個(gè)階段與記憶進(jìn)行了類比。
然后，學(xué)習(xí)切換到壓縮階段。網(wǎng)絡(luò)開(kāi)始扔掉一些關(guān)于輸入數(shù)據(jù)的信息，只跟蹤最強(qiáng)的特征——與輸出標(biāo)簽最相關(guān)的那些關(guān)聯(lián)（）。這是因?yàn)椋陔S機(jī)梯度下降的每次迭代中，訓(xùn)練數(shù)據(jù)中或多或少的意外相關(guān)性會(huì)告訴網(wǎng)絡(luò)做不同的事情，在隨機(jī)游走（ walk）中上下?lián)軇?dòng)神經(jīng)連接的強(qiáng)度。這種隨機(jī)化與壓縮系統(tǒng)輸入數(shù)據(jù)的表示（）實(shí)際上是相同的。看這個(gè)例子，一些狗的照片的背景中可能有房子，而其他的照片沒(méi)有。在網(wǎng)絡(luò)不停地訓(xùn)練過(guò)程中，它可能會(huì)“忘記”一些照片中房屋和狗之間的相關(guān)性，因?yàn)槠渌掌窒诉@一點(diǎn)。和-Ziv認(rèn)為，正是對(duì)細(xì)節(jié)的遺忘使得系統(tǒng)能夠形成通用的概念。實(shí)際上，他們的實(shí)驗(yàn)表明，深度神經(jīng)網(wǎng)絡(luò)在壓縮階段提高了泛化性能，在標(biāo)記測(cè)試數(shù)據(jù)方面變得更好。
信息瓶頸能否解釋所有的深度學(xué)習(xí)？
信息瓶頸是否能解釋所有深度學(xué)習(xí)，除了壓縮以外是否還有其他的泛化途徑，這些還有待觀察。一些AI專家認(rèn)為，的想法是近期出現(xiàn)的關(guān)于深度學(xué)習(xí)最重要的理論見(jiàn)解之一。不過(guò)，哈佛大學(xué)AI研究員和理論神經(jīng)科學(xué)家 Saxe指出，某些非常大的深度神經(jīng)網(wǎng)絡(luò)似乎不需要專門的壓縮階段來(lái)泛化。研究人員會(huì)用一種叫做“早期停止”（early ）的方式進(jìn)行編程，減少訓(xùn)練，從一開(kāi)始就防止網(wǎng)絡(luò)編碼過(guò)多的相關(guān)性。
認(rèn)為，Saxe及其同事分析的網(wǎng)絡(luò)模型與標(biāo)準(zhǔn)的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)有所不同，但是即使如此，信息瓶頸的理論界限比其他方法更好地定義了這些網(wǎng)絡(luò)的泛化性能。關(guān)于瓶頸是否適用于較大神經(jīng)網(wǎng)絡(luò)，和-Ziv的最新實(shí)驗(yàn)部分解決了這一問(wèn)題。在最新的這項(xiàng)實(shí)驗(yàn)中，他們訓(xùn)練了更大的，擁有33萬(wàn)連接的深度神經(jīng)網(wǎng)絡(luò)，識(shí)別美國(guó)國(guó)家標(biāo)準(zhǔn)和技術(shù)研究所數(shù)據(jù)庫(kù)（ of and ）中60,000張手寫數(shù)字的圖像，這也是衡量深度學(xué)習(xí)算法性能的一個(gè)知名基準(zhǔn)。
和-Ziv觀察到了同樣的現(xiàn)象，網(wǎng)絡(luò)收斂到了信息瓶頸的理論界限；他們也觀察到了深度學(xué)習(xí)那兩個(gè)截然不同的階段，并且與較小的網(wǎng)絡(luò)相比，大規(guī)模網(wǎng)絡(luò)在這兩個(gè)階段的轉(zhuǎn)換更加明顯。
“我現(xiàn)在完全相信這是一個(gè)普遍現(xiàn)象。”說(shuō)。
人與機(jī)器：學(xué)習(xí)過(guò)程中最重要的，是遺忘
大腦如何從我們的感官中篩選信號(hào)并將其提升到意識(shí)水平的謎團(tuán)驅(qū)使了早期AI研究者對(duì)深度神經(jīng)網(wǎng)絡(luò)的興趣，他們希望逆向設(shè)計(jì)大腦的學(xué)習(xí)規(guī)則。時(shí)至今日，AI從業(yè)者在技術(shù)進(jìn)步的狂熱中，已經(jīng)在很大程度上放棄了這一點(diǎn)，迷醉于提高性能而不考慮生物學(xué)上的合理性。不過(guò)，在他們打造的思維機(jī)器能力不斷提升的過(guò)程中，許多研究人員仍然希望，這些探索能夠揭示關(guān)于學(xué)習(xí)和智能的通用見(jiàn)解。
紐約大學(xué)心理學(xué)和數(shù)據(jù)科學(xué)助理教授 Lake致力于研究人類和機(jī)器學(xué)習(xí)的異同，他認(rèn)為的發(fā)現(xiàn)是“打開(kāi)神經(jīng)網(wǎng)絡(luò)黑匣子的重要一步”。但Lake強(qiáng)調(diào)說(shuō)，大腦代表了一個(gè)更大、更黑的黑盒子。成年人的大腦擁有860億個(gè)神經(jīng)元，之間更有數(shù)百萬(wàn)億個(gè)連接，很可能采用了眾多策略來(lái)加強(qiáng)泛化，遠(yuǎn)遠(yuǎn)超越嬰兒期發(fā)生的基本的圖像和聲音識(shí)別的學(xué)習(xí)過(guò)程，后者在很大程度上類似當(dāng)前的深度學(xué)習(xí)。
Lake說(shuō)，觀察到的擬合和壓縮階段，似乎并不能對(duì)應(yīng)到兒童學(xué)習(xí)手寫字符的過(guò)程中。 人類孩子學(xué)習(xí)認(rèn)字寫字，并不需要看數(shù)千個(gè)字符并在比較長(zhǎng)的時(shí)間中壓縮他們思維中的表示（）。事實(shí)上，人類兒童可以從一個(gè)樣本中學(xué)習(xí)。Lake和他的同事構(gòu)建模型表明，大腦可能會(huì)把新的字符解構(gòu)成一系列的筆畫——以前就有的思維表示，從而將字母（）的概念加入到先前的知識(shí)大廈中，“而不是像標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)算法一樣，將一個(gè)字母作為像素圖案來(lái)學(xué)習(xí)，通過(guò)映射特征學(xué)習(xí)概念”。Lake說(shuō)，人類建立了一個(gè)簡(jiǎn)單的因果模型——一個(gè)更短的泛化路徑。
這種想法可能為AI研究社區(qū)帶來(lái)啟發(fā)，進(jìn)一步推動(dòng)兩個(gè)領(lǐng)域彼此間的往來(lái)。認(rèn)為，他的信息瓶頸理論最終將被證明在兩門學(xué)科中都有用，可能在人類學(xué)習(xí)中采取一種比AI學(xué)習(xí)更泛化的表示。信息瓶頸理論的一個(gè)直接應(yīng)用，便是更好地了解人類神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)可以解決哪些問(wèn)題。
“它給出了可以學(xué)習(xí)的問(wèn)題的完整描述，”說(shuō)：“這些都是我可以在輸入中消除噪音，而不會(huì)損害我分類能力的問(wèn)題。例如自然視覺(jué)、語(yǔ)音識(shí)別。這些也正是我們的大腦可以應(yīng)付的問(wèn)題。”
同時(shí)，人類神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)都無(wú)法很好地解決另一些問(wèn)題，那就是每個(gè)細(xì)節(jié)都很重要，因此無(wú)法去除信息的問(wèn)題。例如，大多數(shù)人不能快速地在心里將兩個(gè)數(shù)字相乘。說(shuō)：“我們有一大堆類似這樣的問(wèn)題，改變一個(gè)變量都會(huì)引發(fā)全局變化的邏輯問(wèn)題。例如離散問(wèn)題、加密問(wèn)題。我不認(rèn)為深度學(xué)習(xí)都幫助我破譯密碼。”
泛化——或者說(shuō)遍歷信息瓶頸——意味著舍棄一些細(xì)節(jié)。這對(duì)心算不好，但心算并不是大腦的主要任務(wù)。我們擅長(zhǎng)在人群中尋找熟悉的面孔，在嘈雜、混亂的世界中對(duì)尋找顯著信號(hào)的秩序。正如 所說(shuō)，學(xué)習(xí)中最重要的，實(shí)際上是遺忘。
原文鏈接：
【號(hào)外】新智元正在進(jìn)行新一輪招聘，