esnet一直是計算機視覺中的backbone模型，
transformer變形金剛也一直是自然語言處理中的backbone思路。
那么當transformer來進行計算機視覺任務時，resnet還能勝利？
論文解讀Vision Transformer
論文地址：https://arxiv.org/pdf/2010.11929.pdf
代碼地址：https://github.com/google- research/vision_transformer
使用transformers進行圖像識別
NLP任務的de-facto標準模型就是Transformer，但計算機視覺的標準模型還是沒有的。
在CV中，一般的方法是使用注意力機制用來代替某些模塊。
其實，注意力思路不一定非要依賴CNN。
純transformer直接去做識別，效果也很好的。
使用純transformer就好像BERT一樣，在大量數據上預訓練，然后在下游數據集上做遷移學習，比如ImageNet,CIFAR-100,VTAB,等。
Vision Transformer(ViT)于CNN相比，取得了很好的效果，并且訓練起來需要更少的資源。
Transformers是NLP任務的核心模型。
由于計算的加速，可以訓練超大模型，參數量超過100B，隨著數據和模型參數的提升，也沒發現模型有衰減現象。
但在CV，沒有一個可訓練的超大模型，當前的主流CNN并沒有產生超大規模模型。
但是受Transformers啟發，很多模型在嘗試使用注意力機制與CNN的結合，有些論文還完全放棄了CNN，用注意力結構來代替。但是這些研究都沒能出現一個可縮放的結構，沒有出現一個超大模型出來。
當前，大規模的圖像識別，經典的ResNet還是主流。
Transformers既然在NLP領域訓練出來了一個超大模型，作為NLP所有任務的backbone使用，那么直接用transformer來進行圖像識別，不對或者盡量少的修改transformer結構，或許也可以的。
為了完成這個思路，我們把圖片序列化：分成網格，然后提取這些網格內圖像的線性嵌入特征，等于說是把一個圖片矩陣，變成一個序列的向量，然后輸入到Transformer中。
這里網格內的圖像塊，就好比NLP任務中句子中的詞。圖像對應句子。圖像塊對應詞。
我們用有導師的方式，訓練這個模型去對圖像分類。
當在中規模數據集ImageNet訓練Transformer時，沒有用任何的正則化方法，它的性能與Resnet相比，略微差一些。
這好像證明了CNN的卷積中的 等效變形和歸納偏置結構是非常有效的，而Transformer正好缺少了這些結構，所以效果不好。
但是在大型數據集上進行訓練（14M-300M images),發現CNN 的歸納偏置結構失敗了。
當有足夠量的數據訓練時，ViT模型可以用非常少的數據遷移到其他任務上。當使用ImageNet-21K,或者JFT-300M數據集這中大型數據集時，Vit效果好過CNN。在ImageNet上，最好的模型達到88.55%, 在ImageNet-ReaL上，達到90.72%,在CIFAR-100上，達到94.55%,在VTAB上達到77.63%.
2017年，Vaswani提出用Transformers來做機器翻譯，從此Transformers成為了許多NLP任務的sota.
基于Transformer的大型模型，通常在大數據集上預訓練，然后在具體任務上微調：2019年，Devlin提出的BERT就是這樣，
BERT使用無噪聲的自導師的方法去預先訓練。
GPT的一系列工作，2018年,.2019年Radford,2020年Brown就是用語言模型作為預訓練模型的。
初期的自注意力會需要像素與像素之間進行注意力。這樣計算量就是像素的平方了，顯然是不現實的。
所以，為了在圖像是使用Transformers來，2018年，Parmar對每個像素的一個鄰域范圍內的像素使用了自注意力機制。
2019年，Hu同學,2019年Ramachandran同學,2020zhao同學的研究表明，像這樣局部像素之間的多頭點積自注意力模塊，完全可以代替卷積模塊。
2019年的Child同學的工作有點不同，它使用了全局注意力的思路，不過這個全局是近似的，全局的程度是可控制的，因為真正的全局自注意力，計算量太大，是不現實的。
2019年Weissenborn同學把注意力機制用在了不同尺度的模塊中。 2019年Ho同學，2020年王同學僅僅在X方向或者Y方向上做注意力，不在是一個區域內。
這些方法使用注意力，期望在視覺任務上取得較好的結果。但是需要比較繁瑣的編程，才能在硬件上完成比較高效的加速。
2020年Cordonnier同學的思路跟我們最相似，把圖片分成2x2的子圖片，然后使用全局自注意力。這個模型與我們的ViT非常的像，但是顯然Vit做的更徹底，并且證明了大規模預訓練模型vanilla Transformers比sota的CNNs更好。
Cordonnier使用2x2圖像塊，使模型僅僅工作在低緯度分辨率上，但是，我們解決了中緯度分辨率上的圖片識別。
CNN與自注意力的結合有非常多有意思的方式，比如2019年Bello，用自注意力來增強feature maps,比如2018年Hu同學，2020年Carion同學，在目標檢測任務上，利用自注意力，對CNN的輸出進行后處理。
以及其他的用于視頻處理的，圖像分類的，無導師的顯著性檢測的，以及一些比如OCR類的，將文字和視覺相結合的任務上。
2020年,Chen同學有個模型，image GPT,簡稱IGPT，先將圖片在尺度和顏色上降低維度，然后使用了Transformers. 這個模型是一個風格轉換的生成式模型，訓練是無導師的，這個模型提取到的圖像特征可以微調，或者線性預測的方法去做圖像分類，在ImageNet上能夠達到72%。
我們也收集了使用超過ImageNet數據集去訓練圖像分類模型的論文。
有人使用額外數據進行訓練，有人專門研究CNN性能與數據集尺寸的關系。
有人使用遷移學習的思路，將CNN用在了大規模數據集ImageNet-21k和JFT-300M上做實驗。
我們也用了這兩個比較新的大型數據集，但是我們訓練的是基于Transformers的，不是基于ResNet的。
盡量使用原版2017年Vaswani的Transformer.為什么要盡量用原版？因為原版Transformer模型很容易放大，放大后性能還不衰減。并且原版transformer是實現代碼是開箱即用的。非常方便。
HxWxC —> N個1xP^2*C的向量，N=HW/P^2,(P,P)是圖像塊的大小。
NxP^2*c—> NxD,使用公式1表示的可學習的linear projection，線性映射
注意到，公式（1）中的Xclass, 它是一個可學習的embedding,它在每層transformer中的輸出都是第0個，也就是它的輸出來產生圖片的分類結果y, 公式4所示
預訓練的時候，分類頭是一個隱藏層的MLP。微調的時候，分類頭就是一個線性層。
位置潛入是1D的，2D的位置潛入效果并不好。附件4有實驗結果。
Transformer整體由交替的多頭自注意力MSA和多層感知器MLP交替組成，每次MSA或者MLP后，都有Layernorm(LN),都有殘差設計，如公式2，3所示。
MLP是兩層的，激活函數為GELU
Inductive bias
Vit的相比CNN，少了歸納偏置。
CNN中，局部的2維鄰域上做等效變換是貫穿模型始終的。
Vit中，只有MLP是局部的，而且是等效變換的， 自注意力層是全局的。兩維鄰域的信息很少使用：開始的時候，將圖片切成小塊，微調的時候，調整不同分辨率圖像的位置嵌入。并且，位置嵌入并沒有2D信息，圖像塊之間的空間關系是學習得到的。
Hybrid Architecture
其實，transformer的輸入，也可以是CNN的特征圖上的patches,不一定是原圖傻姑娘的patches. 有個特殊情況，feature map上的patches是1x1xc的，這意味著簡單的拉平feature map,然后用矩陣將channel映射為D,就得到了Transformer的輸入序列。 其他的細節比如分類輸入嵌入和位置嵌入都與標準的vit一樣
我們在大型數據庫上預訓練vit，然后在下游任務上微調。微調時，移除預測頭，添加零初始化的DxK的前饋層，K是下游任務的類別數。相對于預訓練的時候，用更高分辨率去微調更加有效，雖然圖片分辨率高了，但是patch大小不能改變，輸入transfomer的序列可以變長。vit可以允許輸入序列是長度可變的，不過如果這樣，預訓練使用的位置嵌入就沒意義了。所以我們使用了預訓練時的位置嵌入的2D差值，作為變長以后序列的位置嵌入。
注意，圖片分辨率自適應和圖像塊的提取是vit中唯一與inductive bias有關的操作，我們手工操作后，輸入到了vit中，vit內部并沒有與inductive bias相關的操作。
我們測試了ResNet,vit, hybrid的學習能力，提取特征的能力，也就是表征學習能力。
為了理解每個模型的數據需求量，我們在超大規模的數據集上預訓練，在很多基準任務上做了測試。
Vit的計算開銷非常小。
最后，用自導師的方法做了一個小實驗，展示了vit代表未來
Datasets.
為了展示模型是否有放大的能力， 我們使用ILSVRC-2012 ImageNet dataset with 1k classed ,一共1.3M images,
還使用了2009年，Deng發布的數據集ImageNet-21k,21k類別，14M圖片
還使用了2017年，sun發布的數據集JFT,18k類別，303M高分辨率圖片。
我們按照2020年kolesnikov的方法消除了數據集中的重復。
預訓練完成后，我們把模型遷移到了一些基本的任務上：ImageNet的原始驗證標簽， 清理過的真是標簽，2009，krizhevsky的CIFAR-10/100，2012年，Parkhi的OxfordIIIT Pets, 2008年Nilsback & Zisserman的Oxford Flowers-102.
對這些數據的預處理都按照2020年kolesnikov的方法進行。
也使用了2019年Zhai的19-task VTAB分類數據集。VTAB的每類只有1000個樣本去遷移學習。
任務分為三組：
Natural- 跟以上的Pets,CIFAR一樣
Specialized-醫學和衛星圖像
Structured-需要幾何理解的任務，比如定位。
Model Variants
實驗了3種vit,分別是vit-base,vit-large,vit-huge,
Base和large直接使用BERT中定義的模型，huge模式是自己添加的。
Vit-L/16, 表示Larger vit模型，圖像塊的大小是16x16的。
注意到，輸入序列的長度與圖像塊的大小成反比。小的圖像塊所形成的序列更長，需要更多的計算資源。
我們要與CNN進行比較，選用2016年he同學的ResNet,不過用GroupNormalization代替了Batch Normalization layers,并且使用了標準卷積。這些改變能夠提升模型的遷移能力。我們定義更改過的resnet為“ResNet(BiT)”.
對于hybrids vit,我們把其中間的feature map喂給bit,patchsize=1.
為了實驗不同的序列長度，我們先實驗了使用ResNet50的stage4的輸出來生成transfomer的輸入序列，后來又實驗了使用ResNet50的stage3的輸出來生成transformer的輸入序列。
使用stage3的輸出作為后續vit的輸入時，序列的長度增加了4倍。
使用stage3時，并不是使用原來的stage3,而是將resnet50種的stage4用stage3替換掉，也就是說整個模型中有兩個stage3,
我們使用第二個stage3的輸出來生成vit的輸入。
Training & Fine-tuning
我們訓練了包含resnets在內的所有的模型，adam,beta1=0.9,beta2=0.999, batchsize=4096. 一個比較高的Weight decay=0.1對所有的遷移學習比較有用。
附件D.1證明，在我們所設定的resnet上，Adam比sgd顯著有效。
學習率上，也使用了線性學習率預熱和衰減，更多細節在附件B.1.
微調時，我們使用SGD momentum, batch size 512, 來訓練所有的模型，更多詳細材料在附件B.1.1.
對于表2中，在ImageNet上的結果， 我們在更好的分辨率上進行了微調，
Vit-L/16的分辨率是512， vit-H/14的分辨率是518， 并且使用了factor=0.9999的Pllyak & Juditsky平均，這是參考2019年Ramachandran和2020年Wang的論文。
Metrics
我們統計了在下游任務上的準確率。這個準確率是經過few-shat或者微調得到的。
這里的few-shot是指用嶺回歸的方式把模型提取到的特征回歸到目標向量上。
微調性能好，few-shot速度快。追求性能時，我們主要使用微調。有時需要快速測試，我們就使用few-shot.
先對比vit-H/14 , vit-L/16 和2020年Kolesnikov的Bit，Big Transfer,這個模型使用了resnet做有導師的遷移學習。
第二部分是2020年，Xie同學的噪聲學生Noisy Student, 大型的 EfficientNet,使用的是半導師學習，數據集是ImageNet和無標簽的JFT-300M。Noisy student是sota.
所有模型是用硬件TPUv3訓練出來的。
TPUv3-core-days： TPUv3的核心數乘以訓練的天數
表2，小模型VIT-L/16比bit-L更好，他們都是用JFT-300M訓練的，但是vit-L/16在所有的任務上都更好，并且更快。
大模型vit-H/14,進一步提升了性能，特別是在更困難的數據集ImageNet，Cifar100,VTAB上。
有趣的是，及時大模型vit-H/14,計算量仍然比之前的sota小。
當然，訓練效率的提升，不僅僅與模型結構有關，還與其他參數有關，比如訓練策略，優化方法，正則化等。在4.4節，我們做了一個對比： 控制學習參數和 改變網絡結構的對比。
最終，vit-L/16，這個在ImageNet-21 k 預訓練的模型，在大多數數據集上表現良好。
它可以用一個標準云上的8核心的TPUv3，訓練30天就行了。
圖2展示了在VTAB任務上，Vit-H/14與前面的sota模型的性能對比。
VIVI模型：在Imagenet和Youtube數據集上訓練的與resnet為基礎的模型。
S4L模型： Imagenet上的半導師模型
這四個模型中，vit-H/14最好。
在speciallized上，vit-h/14 和 Bit-L比較接近。
vit在JFT-300M數據集上與訓練一下，效果會很好。
vit沒有inductive biases,那么數據集的大小到底有多重要？
我們做了兩個系列的實驗。
首先，逐步增加數據集的大小，先使用imagenet, 再使用iamgenet-21k,最后使用jFT-300M.
在小數據集上，為了取得好的性能，使用了正則化，dropout,label smoothing等技術。
圖3展示了訓練結果。
Bit CNN，在imagenet上性能比vit好，但是隨著數據集增大，變為imagenet-21k,JFT-300M,vit模型最終勝出。
另外一個實驗，從JFT300M 數據集中，隨機抽取10M，30M,100M,300M的子數據集，然后對模型進行對比。
所有模型在所有數據集山的訓練策略是一樣的，這樣更能去掉正則化的方法小效果，更能表明模型本身的特性。我們使用了早停法，獲取最好的驗證模型。 為了節省算力，使用few-shot代替fine-tuning.
Vit-b/32與resnet50相比，在9M上很快，很差。但是在90M以上的數據集很好
Vit-L/16與rewnet152x2也是一樣的現象。
這種現象表明了卷積的集中偏置在小數據集上是有效的，但是對大型數據集很難湊效。
還有一點需要注意， 圖4中的準確率是比較低的，還有表2中的準確率也是比較低的。這些是未來比較有意思的地方。
規模可調的模型
數據的大小不再影響模型的性能，我們把不同規模的模型，訓練同樣的epochs后，對比了其性能。
對比的模型有：
7 resents,
R50x1,
R50x2
R101x1,
R152x1
R152x2,
Plus r152x3,
R200x3 , 14 epochs
6個Vision Transformers:
vit-b/32，
B/16,
L/32,
L/16,
這些訓練7個epochs
然后
L/16
L/14訓練14個epochs;
5個hybrids[模型后面的數字指下采樣倍數，不再是patch的大小]
R50+vit-B/32，B/16，L/32，L/16，7 epoches
R50+vit-L/16,14 epochs.
圖5展示了訓練結果。
更多細節在附錄D.5. 和Table6
3個特點：
回顧檢測vit
Vit的第一步就是將圖像切割成塊，然后將塊projection成向量。
圖7展示了學習到的embedding filters的主成分。這些主成分是構成每個圖像塊的主要信息。
Vit的第二部是添加位置嵌入特征。圖7也展示了學習到的位置嵌入特征之間的相似度。我們觀察到，位置相近的圖像塊的位置嵌入特征更像。
同一行/列的圖像塊擁有更相似的位置嵌入。
模型自己學習出了2D圖片的拓撲結構，這也解釋了為什么手動定義2D的位置嵌入時，模型沒有提升。
Vit在一開始的層，就允許從全局獲取信息。
我們調研一下，注意力能力是發生的區域大小。
我們基于注意力權重，獲取了當前位置信息與哪些位置的信息關系比較大，我們計算了所有相關信息的位置的平局值。
這個指標在CNN中對應于感受野。
我們發現，在一開始的層，一些少量的頭的感受也就比較大，這說明，用注意力機制可以集中全局信息。其他頭的感受也比較小。
但是在hybrid模型中，感受也比較小的就很少。
這說明什么？
說明在一開始的層中，vit 在模仿cnn提取局部信息。
總的來看，隨著深度的增加，注意力距離也在增加，即等效感受野也在增加。
從全局來看， 我們發現，模型注意到一些與分類目標語義相關的區域上，如圖6所示范。
自導師
Transformer在NLP任務上展示了令人印象深刻的能力，它的成功不僅是因為模型規模放大能力，也因為模型是可以自學習的。
所以，我們也在遮擋區域預測上，初步探索了其自學習能力，模仿BERT。
用自學習預訓練后，vit-B/16在ImageNet上獲取了79.9%的準確率，相對于從零訓練，提升了2%，然是這個結果仍然比有導師的預訓練低4%。
附錄B.1.2含有更多細節。
未來我們再進行更多的關于自訓練與有導師訓練的對比探索。
我們展示了transformers在圖像識別上的直接使用方法。我們沒有像之前的工作那樣保守，僅僅把自注意力用于CNN模型中，我們沒有使用CNN，也就是沒有使用CNN中的集中偏置，我們把圖片轉換成一個序列，模型處理序列就行了，就像在NLP中一樣。
這樣的方式構造的模型，大模型的性能非常好，也就是說，模型的規模是可調的，并且數據集規模越大越好。
所以說，vit在很多圖像分類數據集上都獲取了sota,并且其預訓練更高效。
雖然這個結果令人鼓舞，但是還有很多挑戰。一個就是在其他任務比如目標檢測和分割上，使用ViT。 從我們的結果來看，將vit用在u表檢測和分割上，是可期待的。
其他的領域也都在使用自學習的預訓練模型去提升。
我們初步的結果展示了自學習的預訓練模型所帶來的提升，但是我們還沒有做大規模的自學習訓練。
vit的規模進一步放大能夠帶來精度的提升。
部分80后、90后，在童年之時，都做過和酷炫而又充滿正義的汽車人，一同打敗邪惡的霸天虎，捍衛正義拯救地球的美夢，現在京東電腦數碼讓你和變形金剛并肩而戰不再是一個夢！3月30日，雷神黑武士4代臺式機聯動變形金剛震撼發售，爆裂光甲形態的酷炫外觀，內核搭載全新十一代英特爾CPU處理器，強勁性能！
目前，京東雷神自營官方旗艦店已開啟雷神黑武士4代臺式機預售活動，下單前100送機械鍵盤，曬單送鼠標套裝；參加投票還可以額外獲得50元優惠券；參與集齊活動錦鯉抽獎，最高獎品直送雷神游戲主機！超多驚喜福利，各位大男孩可別錯過了這次把“變形金剛”抱回家的機會！
機甲美學！讓大男孩們“爺青回”
如同變形金剛一樣，雷神黑武士4代主機充滿了科技感和金屬質感。主機采用了突破式的新生Tron設計，將強悍的黑武士基因再次喚醒，神秘的莫比烏斯燈環隱現其中，透明機身可窺見雷神黑武士4代的強勁內芯，變幻莫測的科技“炫”感十足，將“次世代幻影機甲美學”演繹得淋漓盡致。
內芯強大！黑武士4代全新十一代CPU
如果顏值對各位硬核游戲迷來說，僅僅是錦上添花，那么雷神黑武士4代主機全系搭載的第十一代英特爾CPU充分展示了雷神黑武士4代臺式機，那如同高山流水一般的頂尖性能。
第十一代智能英特爾酷睿處理器作為全新架構，完美實現了IPC性能的大幅度提升。20通道的PCle 4.0可同時實現高端顯卡和SSD的直連，讓雷神黑武士4代主機搭載的頂尖顯卡發揮出最好的效果，任何3A級大作都能輕松駕馭，帶來更暢爽的游戲體驗。全新英特爾Wi-Fi6和Thunderbolt4接口搭配2.5G英特爾以太網連接技術，讓你在戰況瞬息萬變的電子競技中用網速制霸對局，永遠先發制人。
福利不停！集卡贏雷神黑武士4代主機
雷神黑武士4代主機產品這么給力，那么活動自然也不落下風！本次京東雷神自營官方旗艦店針對雷神黑武士4代臺式機不僅準備了首發下單前100贏機械鍵盤，曬單送鼠標套餐的活動，同時還準備了點擊支援包，參與集卡贏黑武士4代臺式機的給力活動！
大家每日登陸可獲得3次集卡機會，分享活動可邀請好友助力獲得1次抽卡機會，集齊五張卡就有機會贏取雷神游戲主機，雷神電競顯示器，變形金剛定制鍵帽，雷神鍵鼠套裝，雷神定制鼠標墊，20京豆等系列好禮！京東電腦數碼活動如此給力，你們心動了嗎？
【非凡之芯，為贏而生】
大促正當時，
多款搭載AMD銳龍移動處理器的爆款筆記本直降，
下單并曬圖評論還可返100元京東E卡！
（限活動期間下單并付款，限量2000張）
快來選一款心儀的銳龍本吧！
正外國人都很喜歡將一些東西 DIY得面目全非，我們經常也會贊嘆別人一些腦洞大開的想法。隨著《星球大戰：原力覺醒》上映的日益臨近，星球大戰里的各類角色，目前人氣都高得驚人，特別是 R2-D2 。 之前國外的大神 Ed Zarick 已經讓我們腦洞大開了一把，他將 Xbox One 改造成一個“游戲機筆記本”，這個DIY產品的名字叫 Xbook One 。
當然， Xbox One 的老冤家 PS4 也沒有能逃過被改造的命運，隨著改造 Xbox One 獲得了成功， PS4 同樣也被改造成了游戲筆記本—— PlayBook 4 。
如果你認為這就結束了，那么你未免顯得太天真太無邪了。DIY 專家 Ed Zarick ，通過 3D 打印制造了各種配件和筆記本外殼，勢要將筆記本華麗 DIY 之路進行到底，是的，這次他的筆記本電腦經過改造后，搖身一變變成了 R2-D2 Star Wars Themed PlayBook 4，這簡直就是赤裸裸在向眾多星戰迷炫耀啊！
我們必須要贊美一下 Ed Zarick ，他并不是通過貼上一堆貼紙的方式來改造和裝飾一臺筆記本，他是通過 3D 打印，獲得各種零件和外殼，然后再對自己的筆記本進行改造，你甚至有一種這個筆記本電腦會像變形金剛那樣變形，變成一個 R2-D2 機器人的即視感！而且 Ed Zarick 通過安裝 Adafruit Wave Shield 套裝，讓這個筆記本電腦可以發出和 R2-D2 一模一樣的聲音，不得不說，這個 PS4 筆記本電腦真的充滿了 R2-D2 元素。
當然，目前 Ed Zarick 并沒有表態說這次是否會接受 R2-D2 Star Wars Themed PlayBook 4 改造訂單，不過如果你真的很喜歡他這次的作品，你不妨登錄他的網站與他取得聯系。
Ed Zarick 之前的作品 PlayBook 4 售價為 1095 美元起（約合人民幣 6705 元），而 PS4 主機本體則需要用戶單獨提供，因為 Xbook One 備受好評，這也為 Ed Zarick 攢足了人氣，據說當時找 Ed Zarick 改造 PS4 的人都已經排起了長隊。
而這次 Ed Zarick 打造的 R2-D2 Star Wars Themed PlayBook 4 和他以前的作品相比，無疑又上了一個新的臺階，如果他開始接受 R2-D2 Star Wars Themed PlayBook 4 改造訂單的話，我想他的門口一定會被各路星戰迷和游戲迷擠爆！■