當前位置:係統粉 >   IT資訊 >   微軟資訊 >  微軟研究院新論文:按語義結構遷移圖片視覺屬性

微軟研究院新論文:按語義結構遷移圖片視覺屬性

時間:2017-05-04 來源:互聯網 瀏覽量:

原創 2017-05-04 擅長舉栗子 量子位

唐旭 編譯整理

量子位 出品 | 公眾號 QbitAI

微軟研究院新論文:按語義結構遷移圖片視覺屬性(1)

最近,來自微軟亞洲研究院和上海交通大學的Jing Liao、Yuan Yao、 Lu Yuan等人寫了一篇題為“通過深度圖像類推實現視覺屬性遷移”的論文,這篇論文提出了一種新的、有趣的圖像風格遷移方案。論文將會發表在本月21號舉辦的SIGGRAPH 2017上,以下是論文的主要內容:

摘要

我們提出了一種新的視覺屬性遷移技術,應用於那些在外觀上差異很大,但卻有著相似語義結構的照片。視覺屬性遷移其實具體是指,將一張圖像的視覺信息(如顏色、色調、紋理、風格)遷移到另一張圖像上。比如,你可以將一幅油畫或者素描變成一張描述相同對象的實景照片。

這一技術能夠發現兩幅輸入圖像之間具有語義學意義的密切關聯。而為了實現這一目的,該技術采用了“圖像類推”的概念——其特性由一種用於匹配的深度卷積神經網絡中提取而出。我們將自己的技術稱作“深度圖像類推”。在計算、尋找圖像間的最大的相似點時,該技術運用了一種由粗到精的策略。我們在多個不同的案例中驗證了這一方法的有效性,這些案例包括風格/紋理轉移、色彩/風格交換,以及將油畫、素描變成照片或延時攝影。

這項技術能幹什麼?

1. 照片→風格

用戶可以將特定藝術作品的風格應用到自己的照片上。

微軟研究院新論文:按語義結構遷移圖片視覺屬性(2)

△ 獸人永不為奴!

微軟研究院新論文:按語義結構遷移圖片視覺屬性(3)

2. 風格→風格

實現表現內容相關但風格相異的藝術作品間的風格互換。

微軟研究院新論文:按語義結構遷移圖片視覺屬性(4)

微軟研究院新論文:按語義結構遷移圖片視覺屬性(5)

△ 每行兩端是初始的兩幅作品,中間兩幅是生成的結果。

3. 風格→照片

將包括素描、油畫、CG等在內的藝術作品轉化成實景照片,當輸入的照片和藝術作品內容相近時,生成的結果會更為真實。

微軟研究院新論文:按語義結構遷移圖片視覺屬性(6)

4. 照片→照片

將兩張照片間的色彩或色調進行互換。

微軟研究院新論文:按語義結構遷移圖片視覺屬性(7)

△ 卷福:你們把照片擺成這樣是幾個意思啊喂!

微軟研究院新論文:按語義結構遷移圖片視覺屬性(8)

Paper:

https://arxiv.org/pdf/1705.01088.pdf

對Paper的補充材料:

https://liaojing.github.io/html/data/analogy_supplemental.pdf

招聘

我們正在招募編輯記者、運營等崗位,工作地點在北京中關村,期待你的到來,一起體驗人工智能的風起雲湧。

我要分享:

最新熱門遊戲

版權信息

Copyright @ 2011 係統粉 版權聲明 最新發布內容 網站導航