時間:2018-08-21 來源:互聯網 瀏覽量:
8月18日晚上,微軟小冰參加了新一期的央視《機智過人》節目,聽歌作曲金牌製作人黃國倫PK人工智能小冰,轉音歌姬黃齡開嗓複活蘇軾《念奴嬌》,在節目中小冰挑戰的是快速作曲並且希望欺騙人類。
與此同時,KDD 2018 大會揭曉了今年的獎項,在這個知識挖掘和數據決策領域全球最頂級的學術盛會上,微軟小冰團隊的論文《XiaoIce Band: A Melody and Arrangement Generation Framework for Pop Music》(《小冰樂隊:流行音樂的旋律與編曲框架》 )獲得了Research Track最佳學生論文。
論文摘要如下:
隨著音樂創作知識的發展和近年來需求的增加,越來越多的公司和研究機構開始研究音樂的自動生成。但以往的模型在應用於歌曲生成時存在局限性,這既需要旋律,又需要編曲。此外,許多與歌曲質量有關的關鍵因素沒有得到很好的解決,例如和弦進行和節奏模式。特別是,如何確保多音軌音樂的和諧,這仍然是一個有待探索的問題。
為此,微軟對流行音樂的自動生成進行了重點研究,其中,微軟考慮了旋律生成的和弦和節奏的影響,以及音樂編排的和聲。微軟提出了一種端到端的旋律和編曲生成框架,稱為“小冰樂隊”(Xiaoice Band),該框架產生了由幾種樂器演奏的幾個伴奏曲目組成的旋律音軌。
具體來說,微軟團隊設計了一種基於和弦的節奏和旋律交叉生成模型(CRMCG),以生成帶有和弦進行的旋律。然後,微軟團隊提出一種基於多任務學習的多樂器協同編曲模型(Multi-Instrument Co-Arrangement Model,MICA)。最後,在一個真實數據集上進行了廣泛的實驗,結果證明了XiaoIce Band的有效性。
微軟研究人員認為,除了歌詞之外,典型的歌曲還包括旋律和編曲。聽一首歌是否令人愉快取決於幾個關鍵特征,具體體現在:
和弦進行通常存在於流行歌曲中,它可以指導旋律進行。因此,捕獲和弦進行作為歌曲生成的輸入是有益的。此外,流行歌曲有幾種固定的節奏型,使歌曲更具結構性且有適當的暫停。然而,現有的研究通常會逐個音符地生成音樂而不考慮節奏型。另一方麵,雖然有一些工作利用和弦進行音樂生成,但它們隻使用單個和弦作為輸入的特征而沒有考慮到整個和弦進行。
完整的歌曲通常需要考慮和弦,節拍,節奏型以及編曲,即需要其他樂器來進行背景音樂的伴奏,例如鼓,貝司,弦樂和吉他。最近的一些工作可以產生歌曲的旋律,但是它們沒有考慮多音軌編曲。
不同的音軌和樂器有各自的特點,但它們應該相互協調。一些現有的方法解決了多軌音樂的生成,但沒有一個考慮到多軌音軌之間的和諧。
為此,在本文中,微軟提出了小冰樂隊,一個用於歌曲生成的端到端旋律和編曲生成框架。具體而言,微軟提出基於和弦的節奏和旋律交叉生成模型(CRMCG)來生成給定和弦進行為條件的旋律。然後微軟引入多樂器聯合編曲模型(MICA)用於多軌音樂。在這裏,兩個信息共享策略,注意力(Attention)單元和多層感知機(MLP)單元,旨在捕獲其他任務的有用信息。前一模型利用和弦進行來指導基於音樂知識的樂段之間的音程關係。後者在不同軌道之間共享信息,以確保編曲的和諧,提高歌曲的質量。對現實世界數據集的廣泛實驗證明了微軟的模型相對於單軌和多軌音樂生成的基線模型的優勢。
具體來說,微軟的模型創造了許多流行歌曲並通過了CCTV1的圖靈測試。本文的貢獻總結如下。
微軟提出了一種端到端的多軌音樂生成係統,包括旋律和編曲。
基於音樂知識,微軟提出用和弦進行來指導旋律和通過節奏型來學習歌曲的結構。然後,微軟使用節奏和旋律交叉生成方法進行音樂生成。
微軟在解碼器層的每一步使用其他任務狀態開發多任務聯合生成網絡,這提高了生成質量並確保了多軌音樂的和諧。
通過提供的大量實驗,微軟的係統與其他模型表現更好的性能,人工評估也得到一致的結論。
央視《機智過人》第二季2018-08-18期:觀看《黃國倫PK人工智能小冰》
微軟小冰作曲《夢如江月》:QQ音樂。
念奴嬌·赤壁懷古02小冰
大江東去浪淘盡
千古風流人物
故壘西邊人道是
三國周郎赤壁
亂石穿空
驚濤拍岸
卷起千堆雪
江山如畫
一時多少豪傑
遙想公瑾當年
小喬初嫁了
雄姿英發
羽扇綸巾談笑間
檣櫓灰飛煙滅
故國神遊多情應笑我早生華發。
人生如夢
一尊還酹江月