論文題目： via in Space
作者信息： 酈洋（上海交通大學），莫易川（上海交通大學/北京大學），史良良（上海交通大學）qq空間藍色鏈接生成器，嚴駿馳（上海交通大學）
論文鏈接：
代碼鏈接：
生成對抗網絡（GAN）作為經典生成模型，一方面已在高維數據（尤其是圖像）生成領域取得了巨大成功，另一方面，在擴散模型的沖擊下，探索和挖掘GAN的優勢以及如何更好控制生成過程、解決訓練不穩定的挑戰成為GAN研究中亟待解決的問題。當前在GAN領域的主流工作主要聚焦于目標函數設計、訓練技巧、網絡設計等方面[1-3]，而作為影響生成的重要部分，人們對隱空間采樣分布的研究更多地聚焦于特征解耦，因此如何通過隱空間編輯調整以更好把控和強化生成結果成為GAN研究中一個新的切入視角。
本文我們將介紹一項被'22會議接收的新工作，我們于該工作中提出了以通過基于對抗樣本方法的隱空間編輯以更好控制生成過程和訓練過程中的模型表現，該工作有幸入選今年的展示（比例約5%）。
TAG： 生成對抗網絡，隱空間，對抗學習
研究動機與背景
作為經典的生成范式之一，GAN使用經過生成器網絡映射后的高斯分布來擬合真實數據分布。然而，由于生成器作為神經網絡本質上是一個連續映射，連續隱空間分布經過生成器映射得到的生成數據分布也將是連續的，而自然圖像分布支撐在多個不連接的流形上[4]，這使得生成數據分布難以與真實數據分布保持一致，這也對應著生成場景下采樣空間往往包含一些 的現象。如下圖所示，在隱空間中等距采樣，采樣跨越不同不連接流形時，生成結果將不可避免地包含 。
本文指出，現有GAN模型在生成過程（測試過程）和模型訓練過程中使用的隱空間分布存在可優化的空間，繼而提出對原始隱空間分布施加采樣變換以優化該分布。在圖像生成場景下，在隱變量上的擾動將造成生成圖像上的細節差異，然而圖像上的細節差異即可造成生成上的失真，因此我們希望通過對隱變量施加擾動來獲取生成質量（實現上量化為判別器網絡輸出）的顯著提升。鑒于任務的相似性，這一采樣變換在實現上通過對抗樣本方法完成，具體而言，我們通過對隱變量采用I-FGSM方法[5]進行迭代以最小化生成器損失即。將特定的隱空間變換引入GAN訓練過程中將緩解訓練困難以提升生成器映射的質量，而在生成過程中引入隱空間采樣變換能夠直接提升采樣質量以獲得更真實的生成。
方法介紹-z：隱空間采樣變換
本文提出對隱空間上施加隱式采樣變換，示意圖如下。我們希望通過采樣變換使得對應于真實圖像流形外的采樣（即 ）可被迭代優化到有效的采樣空間中。
本文首先給出特定生成映射G下對應于真實數據分布的最優隱空間的定義，并說明擬合真實數據流形需要一個不連通的隱空間支撐。
其次給出隱空間采樣變換的具體方法。在GAN算法中判別器被訓練以區分生成分布和真實分布，因此其輸出可被自然地選以量化生成質量。考慮隱空間采樣變換的目標，即通過隱變量上的擾動以造成判別器網絡輸出的顯著變化，我們自然地求諸對抗樣本方法來實現采樣變換。具體而言，我們在固定生成器和判別器參數條件下采用I-FGSM方法更新隱變量來最小化生成器損失，優化目標如下：
其中為原始隱變量，為變換后的隱變量，表示距離度量，在本文中具體為。
最后我們定義對應于的最優隱空間分布并說明GAN的優化目標可以等價為最小化和初始隱空間分布間的JS散度。從而說明，在擾動范疇內，固定網絡參數時對隱空間分布進行GAN損失指導下的采樣優化將使隱空間分布趨近最優分布。
-qua：生成質量為目標的GAN訓練算法
GAN存在訓練不穩定的問題，其中一個原因是生成器和判別器的學習難度不平衡。我們認為，生成的連續性問題使得生成分布存在天然缺陷，是使生成器訓練更困難、判別器更易作出判別的原因之一。為了穩定GAN訓練過程，我們將隱空間分布變換引入GAN訓練中，在更新判別器時對參與優化的隱空間分布進行變換，變換具體方法與上一節一致（考慮到訓練過程的計算代價，我們僅在訓練中進行一次I-FGSM迭代），從而彌補生成器的生成缺陷，緩解訓練困難以優化生成器映射。
-div：生成多樣性為目標的GAN訓練算法
生成質量之外，我們也考慮通過隱空間采樣變換來提升GAN的生成多樣性。MSGAN[6]在條件生成場景下通過對隨機隱空間采樣和添加正則以緩解模式崩潰問題。
MS正則項通過約束樣本在目標空間中的距離以防止生成樣本陷入模式坍縮。
在本文中，我們考慮使用特化的隱空間采樣替代MS正則項中的隨機隱變量以強化MS正則項的效果。從困難樣本挖掘視角qq空間藍色鏈接生成器，我們使用I-FGSM方法通過下式來搜索傾向于模式崩潰的隱變量對，該變量對具體表現為在隱空間中差異較大但在目標空間中相近。我們固定初始隱變量并通過下式尋找以組成一個采樣對。
-qua和-div的具體算法如下：
實驗結果
我們在仿真數據和真實數據上驗證了算法的有效性，驗證的方法包括post-隱空間采樣變換-z，GAN訓練算法-qua/div，以及二者結合方法-qua+/div+。
-z：隱空間采樣變換
上圖通過二維隱空間生成MNIST數據，可視化了采樣變換過程中隱空間分布從標準高斯分布到逐漸出現起伏的變化，在變換后的分布上，高采樣密度處的生成質量顯著優于低采樣密度處，顯示了我們隱空間采樣變換方法的有效性。
上表對比了其他GAN采樣優化方法在不同GAN算法上的表現，-z顯示出明顯的優勢。
上圖分別在仿真Grid/Ring數據和AFHQ數據集上可視化了生成樣本在采樣變換前后的差異，-z能夠有效地提升生成質量，能夠避免生成圖像上的明顯缺陷。
-qua/div：訓練算法優化生成映射
上表展示了-qua(+)/div(+)在八種主流GAN模型上的有效性，驗證的數據集包括Cifar-10、STL-10、LSUN、、、AFHQ以及，在數值結果上，我們的方法在各種場景下均存在顯著提升，提升幅度最高達到50%。
總結
這項工作從連續映射的角度分析了GAN，并指出提高整體生成性能需要兩方面的努力，即有效的隱空間采樣分布變換和生成映射的改進。引入了對抗樣本方法來改進隱空間采樣分布，并通過將隱空間變換引入訓練來改善生成映射。如有疑問或者希望進一步討論，請發郵件至。
參考文獻
[1] M, S, L. [C]// on . PMLR, 2017: 214-223.
[2] T, T, M, et al. for [C]// on . 2018.
[3] T, Laine S, Aila T. A style-based for [C]// of the IEEE/CVF on and . 2019: 4401-4410.
[4] M, Singh M K, A. for [J]. in , 2018, 31.
[5] A, I J, S. in the world[M]// and . and Hall/CRC, 2018: 99-112.
[6] Mao Q, Lee H Y, Tseng H Y, et al. Mode for image [C]// of the IEEE/CVF on and . 2019: 1429-1437.
專知便捷查看