回顧 2019 年 AI 學術界的發展，從 投稿破五千，到 CVPR 投稿破萬，AI 相關工作的產出速度超乎想象。身為其中一員，在過去的這一年里，我主要在小樣本學習 (few-shot ) 方向上進行了一些探索。
眾所周知，深度學習是機器學習發展中一個非常重要的里程碑，在很多任務上深度學習都取得了巨大的成功。然而，由于深度模型包含的參數很多，通常需要大量的有標簽的數據才能進行模型訓練，這點嚴重地限制了它的應用：在很多場景下，收集大量的有標簽的數據是非常昂貴、困難、甚至不可能的，比如醫療數據、手機上用戶手動標注的數據等。是否能僅利用少量帶標簽的數據來訓練就得到一個好的模型？這已經成為機器學習的發展中一個十分重要的課題，不論是學術界還是工業界都高度關注。
有一類小樣本學習的思路是元學習 (meta-) 方法。元學習的大致想法是利用大量跟目標任務相似的任務（或者歷史任務）來學習一個元學習器 (meta-)，然后作用到目標任務上獲得一個不錯的模型初值小樣本機器學習理論，從而能夠僅利用少量目標任務的數據對模型進行快速適配。我們在 Pac-Bayes 的框架下提出了一個元學習算法來得到一個好的目標任務模型的先驗，并且給出了泛化誤差的上界，這是為數不多的元學習的理論工作。仿真實驗也驗證了我們的算法比傳統的方法（比如 MAML）要更好。
AAAI 2020 | Meta- Pac-Bayes In Model ?
元學習中有一類是基于度量學習 ( ) 的小樣本學習。度量學習的大致想法是學習一個強大的、具有良好遷移能力的特征提取器 ( ) 來直接應用到目標任務上。這樣，通過一個少參或者無參的分類器（比如 ）就可以做小樣本分類任務了。傳統小樣本學習的方法，通常只使用基類數據進行學習。由于基類和新類之間存在嚴重的樣本不均衡問題，導致容易過擬合到基類數據，這一點在廣義小樣本問題中（在廣義小樣本問題中，測試樣本不僅包含新類，還包含了基類）尤為突出。我們提出在訓練階段引入新類的數據，同時對基類和新類學習基于度量學習的全局類別表征，能夠有效防止訓練模型在基類數據中出現過擬合的現象，從而提高了模型泛化到新類的能力。
ICCV 2019 | 基于全局類別表征的小樣本學習 GCR?
除了上面兩種直接針對小樣本學習的思路，我們也嘗試了通過自動機器學習 () 來進行神經網絡架構搜索 ( , NAS)，從而獲得性能更優的 CNN 結構。神經網絡架構搜索的常見做法是首先設計一個架構搜索空間，然后用某種搜索策略，從中找出一個最優的網絡架構。其中比較具有代表性的是 DARTS 算法（ ，可微分的神經網絡架構搜索）。它把搜索空間從離散的放松到連續的，從而能夠用梯度下降來同時搜索架構和學習權重。我們提出一種可微分的神經網絡架構搜索算法 DARTS+，第一次將早停機制（early ）引入到 DARTS 中，不僅減小了 DARTS 搜索的時間，而且極大地提升了 DARTS 的性能。此后陸續有一些工作（比如 ， 等）也開始跟進研究早停機制的設計。
DARTS+：DARTS 搜索為何需要早停？?
明年，我認為小樣本學習這個課題可以重點考慮以下幾個方向：
順便補充一句小樣本機器學習理論，我們目前正在招 2-3 名實習生，如果您對上述方向感興趣，歡迎點擊如下鏈接詳細了解：
一份實習邀約?
最后，祝大家新年快樂！