項目測試參考歌聲，歌詞“風吹來的砂冥冥在哭泣，難道早就預言了分離”：
3_gt,夕小瑤科技說,12秒
提示詞“I want to listen to a song with a man voice.”生成的歌聲：
轉換男聲,夕小瑤科技說,12秒
提示詞“I'm in the mood for a song performed by a madam artist.”生成的歌聲：
GPT-3.5研究測試：
https://hujiaoai.cn
GPT-4研究測試：
https://higpt4.cn
Claude-3研究測試（全面吊打GPT-4）：
https://hiclaude3.com
在數字音頻技術的發(fā)展歷程中，歌聲合成（Singing Voice Synthesis, SVS）一直是一個充滿挑戰(zhàn)的領域。隨著深度學習的興起，SVS系統(tǒng)已經能夠生成高保真度的歌聲，為音樂創(chuàng)作和娛樂產業(yè)的發(fā)展提供了新的動力。然而，盡管現有的SVS方法在音頻質量和自然度上取得了顯著進步，它們通常缺乏對合成歌聲風格屬性的明確控制能力。這些風格屬性包括說話者音色、聲音范圍和能量等。為了解決這一問題，研究者們開始探索使用自然語言指令作為風格提示，以期實現對合成歌聲的精確控制。
自然語言指令的使用不僅可以實現對特定屬性的精確控制，還可以簡化用戶交互，為非計算機專業(yè)用戶如音樂家和視頻創(chuàng)作者帶來便利。然而，將自然語言風格提示應用于SVS面臨著多個挑戰(zhàn)，包括旋律與聲音范圍的解耦、文本表示的選擇以及數據稀缺性等問題。本文將介紹一種新的SVS方法——Prompt-Singer，它是首個能夠利用自然語言提示來控制歌手性別、聲音范圍和音量的SVS方法。
論文標題:
Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt
論文鏈接:
https://arxiv.org/pdf/2403.11780.pdf
項目鏈接:
http://prompt-singer.github.io
1. 模型的設計理念與目標
Prompt-Singer模型的設計理念是通過自然語言指令作為風格提示來控制合成歌聲的風格屬性，這不僅可以對特定屬性進行精確控制，還可以簡化用戶交互，為非專業(yè)用戶如音樂家和視頻創(chuàng)作者帶來便利。該模型采用基于解碼器的Transformer架構，具有多尺度層次結構，并設計了一個旋律解耦的音高表示方法，使得在保持旋律準確性的同時，能夠實現文本條件下的聲音范圍控制。
2. 解決既有SVS方法的局限性
現有的SVS方法雖然在音頻質量和自然性方面取得了顯著進展，但它們缺乏明確控制合成歌聲風格屬性的能力。Prompt-Singer模型通過自然語言提示來控制合成歌聲的風格屬性，如歌手音色、聲音范圍和能量，解決了現有方法的局限性。例如，現有的SVS數據中的音高注釋與特定歌手在特定聲音范圍內的表現相綁定，這種耦合性質使得生成與提示相符且旋律準確的歌聲變得具有挑戰(zhàn)性。Prompt-Singer通過設計解耦的音高表示和引入語音數據來緩解數據稀缺問題，從而提高了模型對風格屬性的控制能力和音頻質量。
Prompt（自然語言提示）是Prompt-Singer模型的核心要素，由于沒有現成的數據集可用，因此研究者們利用了正常的SVS數據集，并設計了一種方法來為每個數據項生成提示句子。這個過程主要包括屬性分類、關鍵詞與模板生成、提示詞組裝三個階段。
1. 屬性分類根據音頻特征將音頻樣本分配到預定義的性別、音量和音域類別中（下圖）。
2. 關鍵詞與模板生成利用大語言模型為每個類別生成相關關鍵詞，并創(chuàng)建可插入關鍵詞的提示句子模板（下圖）。
3. 提示句子組裝在訓練時，結合樣本的屬性標簽和預生成的關鍵詞與模板，動態(tài)構建用于模型輸入的自然語言提示（下圖）。
1. 旋律與聲域的解耦難題
在現實生活中，不同的歌手可能會以不同的聲域演唱同一首歌曲。例如，一位年長的男士和一個小女孩可能會在不同的聲域內唱相同的歌。然而，SVS數據中的音高注釋通常與特定歌手的特定聲域綁定。這種耦合性質使得生成與提示相符的、具有一致聲域和音色的歌聲以及與給定音高音符對齊的準確旋律變得具有挑戰(zhàn)性。為了解決這一問題，Prompt-Singer模型采用了一種解耦的音高表示方法，通過引入聲域因子和獨立于歌手的旋律序列，實現了在保持旋律準確性的同時對聲域進行控制。
2. 文本表示的選擇與優(yōu)化
盡管一些研究嘗試將文本表示與音樂、語音和一般音頻概念聯系起來，但目前還沒有專門為歌唱風格描述定制的文本表示，優(yōu)化提示表示的選擇對于任務來說仍是未知的。Prompt-Singer模型探索了不同類型的文本編碼器，包括BERT、FLAN-T5和CLAP，并對編碼器進行了微調，以尋找最佳的文本表示。
3. 數據稀缺性的應對策略
由于需要細粒度的注釋，現有的SVS數據集規(guī)模較小，通常只包含幾小時或幾十小時的歌唱數據。這不僅限制了數據的多樣性，而且增加了學習自然語言描述與數據分布之間關聯的難度。為了緩解數據稀缺性，Prompt-Singer模型引入了語音數據，通過使用與SVS數據相同格式的TTS數據，增加了訓練數據的數量和多樣性。
本項目測試參考歌聲，歌詞“快樂時你不用分心想起我，難過時請一定記得聯絡我”：
0_gt,夕小瑤科技說,12秒
提示詞“Would you give me a song sung by a male vocalist?”生成的歌聲：
0_male,夕小瑤科技說,12秒
提示詞“I'm looking for a song with a woman singer.”生成的歌聲：
0_female,夕小瑤科技說,12秒
1. 多尺度Transformer的作用與結構
Prompt-Singer模型的整體架構如下圖所示。它主要由兩個子模塊組成：1）多尺度Transformer，它根據自然語言提示、帶有時長的歌詞和音高信息的輸入生成離散的聲學單元；2）單元聲碼器（Unit Vocoder），它將生成的聲學單元映射到音頻波形上。
多尺度Transformer的層次結構，由全局和局部Transformer組成（下圖），它們都是基于解碼器的Transformer。全局Transformer負責建模不同幀之間的關聯，而局部Transformer則在幀內自回歸預測不同碼本的聲學單元。這種多尺度結構有助于模型處理長序列，并在不同模態(tài)之間建立內在關系。
2. 聲音表示與文本表示的處理
在聲音表示方面，Prompt-Singer模型使用SoundStream生成的離散聲學單元作為Transformer的預測目標。文本輸入包括兩部分：歌詞和自然語言提示。歌詞通過查找表嵌入并輸入到Transformer中，而自然語言提示則使用凍結參數的文本編碼器提取語義表示，并通過線性層映射其維度以適應Transformer。
3. 解耦音高表示的創(chuàng)新設計
Prompt-Singer模型基于等溫定律理論，將F0分解為兩個組成部分：平均F0值（表示聲域）和調整后的F0序列（表示旋律信息）。這種簡單而有效的表示方法創(chuàng)建了信息瓶頸，迫使模型從調整后的F0序列和平均F0因子中提取旋律和聲域信息。
4. 利用語音數據緩解數據稀缺
為了緩解數據稀缺性，模型結合了TTS數據進行訓練，以增加訓練數據的數量和多樣性。此外，模型還探索了在低資源情況下用語音數據替代歌唱數據的可行性，并在不同量級的低資源SVS數據與大量TTS數據的組合下評估了模型性能。
1. 數據集的選擇與組合
為了控制合成歌聲的風格屬性，我們選擇了M4Singer、Opencpop、Opensinger和PopCS四個SVS數據集，共計127小時的多歌手歌唱數據。同時，我們還利用了AISHELL-3、Biaobei、THCHS-30和DidiSpeech等四個普通話TTS語料庫，總計約179小時的語音數據（下表）。這些數據集的選擇旨在增加訓練數據的數量和多樣性，從而提高模型的泛化能力和風格控制的準確性。
2. 模型配置與訓練細節(jié)
我們采用了基于解碼器的多尺度Transformer架構，并設計了一種音高解耦表示法，這使得模型在保持旋律準確性的同時，能夠通過文本條件控制聲音范圍。如下表所示，全局Transformer有20層，參數量為320M；局部Transformer有6層，參數量為100M。我們使用SoundStream模型生成的離散聲學單元作為Transformer的預測目標，并通過一個基于GAN的單元聲碼器將生成的聲學單元映射到高保真的音頻波形。
3. 客觀與主觀評價指標的應用
我們采用了客觀和主觀的評價指標來評估模型的控制能力和歌聲質量?？陀^指標包括每個屬性的準確性百分比，其中性別分類器用于性別屬性的評估，振幅RMS和平均F0用于評估音量和音域。我們還計算了R-FFE（調整音域后的F0幀誤差）來衡量旋律準確性。對于主觀指標，我們通過亞馬遜Mechanical Turk進行人群外包評估，評估者需要根據1-5的Likert量表對歌聲質量和與提示的相關性進行評分，并報告平均意見得分（MOS）和相關性（RMOS）（下面兩圖分別是MOS和RMOS的評分界面）。通過這些綜合評價，我們可以全面了解模型的性能表現。
1. 不同文本表示對控制能力的影響
實驗結果表明，經過微調的文本編碼器在控制準確性上有顯著提高，尤其是FLAN-T5 large和BERT-large模型（下表）。這表明將文本表示與更簡單的分布對齊有助于模型學習提示和歌唱風格之間的相關性。此外，不同類型的文本編碼器在不同屬性的控制能力上表現不同，這可能與模型的預訓練方法和數據有關。
2. 語音數據在低資源情景下的作用
如下表所示，在低資源情景下，引入語音數據可以顯著提高控制準確性和生成質量，但對旋律準確性有輕微的負面影響。隨著SVS數據量的減少，歌聲質量和旋律準確性急劇下降，而音量和音域的準確性變化相對平緩。這表明，盡管語音數據有助于提高控制準確性和音頻質量，但仍然需要足夠量的歌唱數據來確保合成質量和旋律準確性。
3. 模型在多屬性提示下的表現
如下表所示，我們的模型在單屬性和多屬性提示下都表現出了良好的性能。隨著屬性數量的增加，準確性和與提示的相關性有輕微下降，這表明多屬性條件下聲學風格的條件分布更復雜，模型化難度增加。盡管如此，我們的模型在處理單個和多個屬性的提示時仍然展現出了良好的性能。
1. 模型的優(yōu)勢與局限性
Prompt-Singer模型通過自然語言提示來控制合成歌聲的風格，這種方法在控制特定屬性方面具有明顯的優(yōu)勢，同時簡化了用戶交互，方便非專業(yè)用戶使用。模型采用基于解碼器的Transformer架構，并設計了一種旋律與音域解耦的音高表示，使得在保持旋律準確性的同時，能夠通過文本條件控制音域。
模型的局限性在于：面臨解耦旋律與音域、選擇文本表示、數據稀缺等挑戰(zhàn)；因使用大語言模型和自回歸生成導致高計算成本和推理延遲；提示文本的生成流程簡單且僵化，可能產生語法錯誤和表達偏差。
2. 對未來研究方向的展望
未來的研究可以在多個方向上進行拓展。首先，可以引入更多的風格屬性，如情感、節(jié)奏和更詳細的歌手信息，以進一步提高合成歌聲的多樣性和個性化。其次，可以探索更高效的模型架構和生成范式，以減少計算開銷并提高推理效率。此外，改進提示文本的生成流程，提高其準確性和表達力，也是未來研究的一個重要方向。
rontwing宣布，視覺小說《GINKA》（銀花）將于10月26日通過Steam登陸PC平臺。游戲支持英語、日語和簡體中文語言選項。游戲還計劃推出 Switch 版，但未確定發(fā)行日期。
“回去吧，回到有你的夏天——”繼《ATRI My Dear Moments》之后，以紺野アスタ與Yusano等成員為核心，由Frontwing為大家?guī)淼挠忠恍伦鰽DV游戲。在這座生活節(jié)奏緩慢的小小島嶼上，陪伴從神隱歸來的青梅竹馬之友，一同度過宛如童話般的暑假吧。
企劃/劇本：紺野アスタ
原畫/角色設計：Yusano
配角設計：渡邊明夫
SD原畫：ななかまい
音樂：松本文紀
CAST
Ginka：長谷川育美
主題曲
《Star Trail》
歌唱：四之宮銀花（CV：長谷川育美）
作編曲：松本文紀
作詞：紺野アスタ
■故事
與主人公同為青梅竹馬的少女銀花。
在某個夏日祭的夜晚，遭遇神隱，消失得無影無蹤。
自事件發(fā)生之后，已經過去了五年。
成為了高中生的青羽流星乘坐渡輪，重返姬之島。
他迫切地想要知道，銀花自那之后究竟去向何方？
說不定，她已經平安無事地回到家中，正就讀于島上的高中，過著平凡的生活……
然而，淡淡的期待終究還是落空了。
自那一夜起，銀花便不知所蹤。
流星陷入失意，打算離開姬之島。就在這時，他經歷了一場不可思議的重逢。
出現在他面前的，是仍保持舊時模樣的少女——Ginka。
“歡迎回來”
Ginka連自己的名字都已不記得。
只記得“流星”這一名字，以及對他的戀慕之情。
迄今為止，她到底身處何方？
為何仍保持年幼時的模樣？
流星將在這座生活節(jié)奏緩慢的小小島嶼上，
與從神隱歸來的青梅竹馬之友一起，
度過宛如童話般的暑假。
Frontwing ADV《GINKA》PC版預告片
優(yōu)酷視頻云
視頻截圖
indows 10推出至今已有三年，而且已經擁有七個發(fā)行版本。筆者認為，Windows 10系統(tǒng)已經足夠成熟，還在堅守Windows 7的用戶是時候考慮一下更換平臺了。
Windows用戶群中有著這樣一條鄙視鏈：用Windows XP的看不起用Windows 7的，用Windows 7的看不起用Windows 10的，用Windows 10的則看不起用Windows 7的，同時不把Windows XP放在眼里。筆者是通過Windows 7免費升級為Windows 10的用戶，對于兩者之間的區(qū)別十分了解。Windows 10的這幾項新特性，或許可以讓Windows 7用戶改變一下觀念。
Windows 10相比Windows 7變化非常大，筆者大致把其中的變化分為兩類：優(yōu)化類和新功能類。優(yōu)化類為Windows 7本來就有，但Windows 10讓這些功能更加強大；新功能類則是之前沒有，是Windows 10獨有的功能。由于Windows 10更新的內容比較多，筆者只選擇幾項比較具有代表性的功能進行詳解。
優(yōu)化類：任務管理器
不吹不黑，Windows 10的任務管理器太好用了！Windows 7的任務管理器可以看作是對Windows XP的延續(xù)，在功能方面并沒有大的調整。而到了Windows 10，可以說任務管理器發(fā)生了翻天覆地的變化，首先各進程的分類、占用情況更加清晰明了，一眼就能看出哪個程序占用了硬件資源。
Windows 10的任務管理器
Windows 7的任務管理器
其次，在“性能”標簽頁，包括CPU、內存、硬盤、WiFi、以太網、藍牙、顯卡等硬件的型號、規(guī)格、占用情況也一目了然，比Windows 7任務管理器僅僅展示CPU和內存占用情況要更為直觀、全面。最重要的是，用戶可以通過任務管理器禁止軟件自啟動了，在“啟動”標簽頁，用戶可以看到自啟動的程序，也可以禁止其啟動，十分方便。自從用了這個功能，筆者把各種安全軟件都卸載了。
優(yōu)化類：郵件和天氣
Windows 7的系統(tǒng)也有自帶的郵箱功能Windows Live Mail，但設置的時候太過復雜，一般情況下，很少有用戶使用。而Windows 10則預裝了通用應用“郵件”，只需要在郵件應用中輸入賬號和密碼，郵件應用會自動將其他設置項匹配，然后就可以收發(fā)郵件了。而且郵件應用的界面也非常友好，從左到右層級清晰。不足之處是一些特殊字符無法識別，會顯示亂碼，相信以后會解決這些小問題。
郵件和天氣應用
另外就是天氣應用。相信很多Windows 7用戶還記得天氣小工具，但由于國內特殊原因，無法連接到服務器。后來小工具被爆出安全問題，使得Windows 7并沒有一款比較不錯的內置天氣應用。而Windows 10則預裝了通用應用“天氣”，不僅界面設計美觀，而且能夠自動更新天氣，最重要的是，其可以通過動態(tài)磁貼顯示，不需要打開應用也能看到最新的天氣情況。一旦出現惡劣天氣的話，還會自動彈出預警信息，十分便利。
優(yōu)化類：輸入法
筆者剛開始接觸電腦的時候，使用的是智能ABC輸入法，后來使用Windows 7的時候發(fā)現，Windows 7確實預裝了很多輸入法，包括雙拼、全拼、微軟拼音等，但說實話，沒一個能用的，所以Windows 7用戶都會選擇第三方輸入法。而Windows 10就不一樣了，Windows 10預裝的微軟拼音的可用性已經有了質的飛躍。
微軟拼音輸入法
在輸入的準確性上，Windows 10預裝的微軟拼音是可以通過網絡來識別用戶的輸入結果，所以在輸入的準確性上十分不錯，而且這款輸入法也有記憶功能，它會記住你拼過的詞，然后通過出現的頻率決定哪個詞為默認顯示。最強大的是，由于微軟賬號的加持，你所有的輸入習慣都會通過賬號同步到你的其他電腦上，所以即使你擁有多臺電腦，只要是同一個賬號，在不同電腦上的輸入準確率是完全一致的。
如果你習慣使用五筆輸入法，Windows 10也預裝了微軟五筆。需要注意一點，微軟輸入法的切換與Windows 7的Ctrl+Shift不同，而通過Windows鍵+空格的組合鍵進行切換。使用Windows 10，不需要你額外下載輸入法，微軟拼音已經足夠使用了。筆者這篇文章就是通過微軟拼音碼出來的。
優(yōu)化類：文件管理器
Windows 10的文件管理器看起來與Windows 7的非常相似，但背后的設計理念卻是不一樣的。Windows 10的文件管理器引用了Office上的Ribbon界面，相比Windows 7更加直觀。當然，包括筆者在內也覺得這樣設計有些繁瑣，但在工作時確實能夠提升效率。
復制粘貼時的速度曲線
當然Windows 10的文件管理器有一項非常大的改變，那就是復制粘貼的時候能夠看到實時的速度曲線，而且還能暫停操作，界面更加直觀了。雖然好像沒什么用，但確實帶來了更好的使用體驗。
新功能類：語音助手
微軟為Windows 10增加了Cortana語音助手，而且在最新的Windows 10版本中，第一次開機時的所有設置項，都可以通過語音完成，十分驚艷。
語音助手Cortana
在實用性方面，Cortana有著十分驚人的表現。你可以通過說出“你好小娜”來喚醒它，然后你就可以說出你想要干什么了。你可以進行簡單的查看天氣、新建提醒、鬧鐘，同時也可以查看體育、出行、彩票、娛樂、影視、快遞、活動等，比如今天和明天的北京機動車限行號碼。也能夠通過語音播放音樂、打開程序、搜索網頁等。
最令人難忘的是，Cortana還能和用戶互動，你可以選擇和它聊天，也可以讓Cortana念古詩、學明星唱歌等。無聊的時候，Cortana確實給筆者帶來了很多歡樂。
新功能類：觸控板多手勢操作
很多用戶一致認為，Windows系統(tǒng)的觸控板簡直是反人類。但到了Windows 10，這一觀念需要改一改了。很多人推崇MacBook的觸控板，稱其可以取代鼠標。那我們不妨拿兩者對比一下。
我們先列舉幾個MacBook觸控板上具有代表性的通用手勢：雙指拖移可以滾動屏幕，四指分開可以顯示桌面，四指捏合可以打開Launchpad，四指上推可以打開任務管理，四指左右滑動可以切換應用程序。
Windows 10觸控板手勢
下面我們看一下Windows 10支持的手勢：雙指滑動可以實現頁面滾動，雙指捏合可以實現放大、縮小，三指向上輕掃可以打開多任務，三指向下輕掃可以顯示桌面，三指左右滑動可以切換程序，三指點擊可以喚醒Cortana，四指點擊可以打開操作中心，四指左右輕掃可以切換虛擬桌面。單純從功能上看，Windows 10支持的手勢基本與MacBook類似，而且無論是功能豐富程度還是習慣問題，MacBook用戶都能很好的適應Windows 10。習慣了這些手勢，你還會說Windows的觸控板反人類嗎？
新功能類：快速啟動
從Windows 8開始，微軟就為系統(tǒng)引入了“快速啟動”功能，Windows 10也同樣支持這項功能。這項功能能夠讓系統(tǒng)的開機時間大大縮短。其原理與休眠非常相似，就是將目前運行的程序寫入到硬盤的某個文件中，下次啟動直接讀取這個文件，以此可以大幅提升開機速度。所以一些朋友把Windows 10的關機視為“偽”關機。
Windows 10的快速啟動功能
這項功能對于將機械硬盤作為系統(tǒng)盤的用戶來說十分不錯，可以將開機時間縮短到10秒以內。當然這項功能對于老設備的支持還不是很完善，太老的主板會遇到開機黑屏的情況。不過從整體體驗來看，瞬間進入桌面的感覺很棒，Windows 7則顯得慢吞吞的。
新功能類：虛擬桌面
Windows 10終于原生支持虛擬桌面了！在Windows 10任務欄有“任務視圖”按鈕，點擊即可進入多任務界面，點擊右下方的“新建桌面”即可增加第二個虛擬桌面。虛擬桌面之間進行切換也非常簡單，除了上面提到的手勢外，用戶也可以通過Ctrl鍵+Windows鍵+左右方向鍵進行切換。
虛擬桌面效果
新功能類：農歷和通知中心
Windows 10針對中國用戶提供了很多本地化的服務，比如日歷上增加了同步顯示農歷的功能，而且日歷下方也能夠同步顯示日程提醒，比Windows 7上的日歷要好用很多；Windows 10也加入了通知中心，所有提醒消息都會集中出現在此，而且通知中心有快捷操作，基本邏輯與目前手機的下拉通知欄相似，使用上更為方便。
顯示農歷和統(tǒng)治中心
新功能類：同步
Windows 10的同步功能是基于微軟賬戶，用戶只需要注冊一個微軟賬戶，你在一臺Windows 10電腦上進行的很多設置都會進行同步，包括設置、主題、瀏覽器信息、輸入法等。這項功能非常重要，即使你換了一臺新電腦，只要登上微軟賬號，所以的設置都會與此前是一致的，用戶不必再次設置一遍。
同步功能
除了以上介紹的這些功能外，Windows 10還有很多非常方便的功能，比如自動為用戶安裝驅動程序等，所有的變化都在一定程度上降低了系統(tǒng)的使用難度，這讓Windows 10變成了一個非常易用的操作系統(tǒng)。
總結：
很多人之所以抗拒Windows 10，很大一部分原因是相比Windows 7變化實在是太大了，一些習慣無法直接套用，導致剛開始的使用體驗不佳。但不得不承認的是，Windows 10是非常成功的，能夠看出它吸取了很多移動操作系統(tǒng)的精髓，在易用性方面進行了大刀闊斧的改變。如果你把Windows 10當作一個全新的系統(tǒng)去看待，你會看到很多驚喜。相信堅守Windows 7的用戶在體驗到Windows 10的新功能之后，肯定也會有心動的感覺。