機器之心編譯
參與：李澤南、微胖
康奈爾大學與 Adobe 的研究者們最近發(fā)布了一項通過卷積神經(jīng)網(wǎng)絡進行照片風格遷移的研究。隨后，該技術在 Torch 中的實現(xiàn)也已出爐。讀者可以點擊「閱讀原文」下載論文。
論文地址：
項目地址：
圖像風格遷移的研究在人工智能領域?qū)映霾桓F，作為圖像處理軟件的龍頭圖片轉(zhuǎn)換工具，Adobe 的努力非常引人注目。最近，康奈爾大學與 Adobe 的研究者們發(fā)布了一項通過卷積神經(jīng)網(wǎng)絡進行圖片風格遷移的研究。在本研究的論文中，作者宣稱解決了神經(jīng)網(wǎng)絡風格遷移中參考圖像風格化導致輸出圖像「畸變」的問題，新的模型在各種圖片內(nèi)容的測試中表現(xiàn)良好，同時忠實地再現(xiàn)了參考圖片中風格遷移的效果。它或許可以成為下一代 的功能之一。
論文：Deep Photo Style
摘要：
本論文介紹了一種實現(xiàn)照片風格遷移的深度學習方法，這種方法可以處理很多不同種類的照片內(nèi)容，同時還能如實遷移參考風格。近期，我們研究了美術風格遷移，通過研究神經(jīng)網(wǎng)絡的不同層級將風格從圖片內(nèi)容中分離出來，本論文就是建立在這一研究基礎上。過去的辦法并不適合圖像現(xiàn)實主義風格的遷移，即使輸入和參考圖片都是照片，但仍然會輸出畸變（）的結(jié)果。我們的貢獻在于將輸入到輸入的變換限制為空間內(nèi)的精確色彩變化圖片轉(zhuǎn)換工具，并將此約束表示為可以反向傳播的自定義 CNN 層。我們的實驗表明，這一辦法成功地抑制了圖片在各種不同場景下（包括一天的各個時間段，各種天氣，季節(jié)以及藝術風格編輯）的風格扭曲，照片現(xiàn)實主義（）風格遷移的效果也令人滿意。
圖 1：（a）是參考風格，（b）是輸出的圖像，我們希望輸出的效果能仍然和輸入一樣，屬于照片風格，不過風格是參照圖片的風格。 Style 算法（C）雖然可以成功遷移顏色，不過輸出效果會有些扭曲，看起來更像是畫作，這并是不照片風格遷移想要的結(jié)果。對比之下，我們的結(jié)果（d）不僅可以成功遷移作為參照的風格圖片，還可以維持輸出的照片現(xiàn)實主義風格。右邊（e）就是上面不同效果的集合對比。
圖 2：在研究中，開發(fā)者向不同的模型輸入圖片（a），參考圖片（e），對風格遷移效果進行了比較。相比 等其他研究得出的結(jié)果，新模型（d）可以防止扭曲并正確地匹配紋理。
圖 7：通過手動分割，可以讓系統(tǒng)完成多種任務，如：為香水瓶（a）加入火焰效果（c），切換不同蘋果（d，e）之間的紋理顏色。
圖 8：用戶反饋意見顯示康奈爾大學和 Adobe 的新研究實現(xiàn)了目前最好的效果
結(jié)論
在本論文中，研究者通過自定義卷積神經(jīng)網(wǎng)絡層中的拉普拉斯摳圖矩陣（ ）來限制輸入到輸出的變化，從而改善了風格轉(zhuǎn)換中色彩變化的效果。而語義分割的引入帶來了更多效果絕佳的風格遷移。在各種各樣的場景中，包括不同時間，天氣，季節(jié)和藝術風格，都能獲得令人滿意且逼真風格的轉(zhuǎn)換。在未來，研究者們將繼續(xù)探索神經(jīng)網(wǎng)絡自動語義匹配的方法，以消除目前圖像分割算法的局限性。
安裝
本研究的代碼基于Torch，并在 14.04 LTS的系統(tǒng)中進行了測試。
系統(tǒng)需求
CUDA 后端：
下載 VGG-19：
sh models/download_models.sh編譯 .cu （請在中調(diào)整 和 ）：
make clean && make使用
直接使用
想使用已有數(shù)據(jù)直接生成結(jié)果 （在 /中） 請在中直接運行：
run('gen_laplacian/gen_laplacian.m')隨后在中：
python gen_all.py輸出的結(jié)果會在 //中。
基礎使用
1.給定輸入圖像和具有語義分割蒙版的風格圖像，將其分別放入 / 。它們會以如下格式被自動命名：/input/in.png,/style/tar.png和//in.png,//tar.png；
2.在中使用/.mi來計算消光拉普拉斯矩陣，則輸出矩陣的文件命名格式為：/1e-7_CSR.mat;
3.運行以下代碼以獲得分段的中間結(jié)果：
th neuralstyle_seg.lua -content_image -style_image