微軟北大聯合提出換臉AI和臉部偽造檢測器，演繹現實版「矛與盾」？

AI 開發者按：近日，微軟研究院與北京大學的研究小組共同提出了一種全新的 AI 換臉框架 FaceShifter，以及一種檢測偽造人臉圖像的方法 FaceX-Ray。前者可以極大提高換臉的高保真度，而後者則用於檢測出複雜偽造人臉圖像。

一個致力於造假，一個專注於打假；光是聽起來，就不禁讓人聯想到「矛」與「盾」的故事。那到底哪個更勝一籌呢？VB 發布了的相關內容介紹了這兩個成果， AI 開發者將其整理及編譯如下。

圖片來源：360圖片

人臉技術研究背景

目前，最先進的機器學習算法不僅可以完成對地點或物體的圖像改變與生成，以 Deepfake 為代表的 AI 換臉技術甚至已經可以達到以假亂真的換臉效果；但由於換臉技術的濫用可能會為社會帶來一係列惡劣影響，研究人員也在不斷探索該技術的原理，並希望能夠解決這一難題。

就在最近，這一技術又有了新的進展。微軟研究院和北京大學的研究小組發表的兩篇學術論文中，他們分別提出了一種用於生成高保真和遮擋感知的人臉交換框架——FaceShifter，以及一種用於檢測偽造人臉圖像的方法——FaceX-Ray。

與現有的方法相比，微軟研究的麵容轉換

圖片來源：微軟研究院

據相關研究人員表示，與多個現行基線方法相比，這兩種方法都能在不犧牲性能的情況下取得更好的效果，而且它們所需的數據比以前的方法少得多。

無訓練換臉——FaceShifter

從相關資料可以看到，FaceShifter 能夠將目標圖像中的人替換為源圖像中的另一個人的同時，保留其頭部姿勢、麵部表情、燈光、顏色、強度、背景和其他屬性特征。

雖然像 Reflect 和 FaceSwap 這樣的應用程序聲稱可以相當準確地做到這一點，但是微軟論文的合著者表示 FaceShifter 對姿態和視角的變化則敏感度更高。

取源圖像中的臉來替換目標圖像中的麵，換臉結果顯示在右邊

圖片來源：FaceShifter論文（https://arxiv.org/pdf/1912.13457.pdf）

FaceShifter 通過使用生成性對抗網絡（GAN）來提高換臉的保真度，它主要由兩部分架構組成。第一部分主要利用利用自適應注意力非正規化（AAD）層的新生成器整合人臉合成圖片的特征和屬性，該層可以自適應地學習整合麵部屬性的位置；第二部分則重點解決麵部遮擋問題，這部分則包括了一個新的啟發式錯誤確認細化網絡（HEAR-Net），可利用重建圖像與其輸入之間的差異來識別遮擋。

更多來自 FaceShifter 的樣本

圖片來源：微軟研究院

研究小組稱，「該框架在生成任意真實圖像相對的換臉圖像時，無需特定的訓練，都顯示出了優越的性能。大量實驗表明，該框架明顯優於以前的人臉交換方法。」

可以看到，在一項定性測試中，FaceShifter 保留了人臉形狀，並自動適應換臉圖像的光線和圖像分辨率。此外，即使是從互聯網上抓取的「狂野麵孔」，該框架也能夠在不依賴人工注釋數據的情況下恢複異常區域——包括眼鏡、陰影和反射效果，以及其它不常見的遮擋。

灰度打假 FaceX-Ray

而與 FaceShifter 相比，FaceX-Ray 則恰好是偽造頭像的克星。正如研究人員在相應的論文中所指出的那樣，我們確實需要這樣的工具來防止偽造圖像被濫用的情況。

2019 年 6 月曾有份報告披露，一名間諜利用人工智能生成的個人資料圖片愚弄 LinkedIn 中的聯係人；而就在去年 12 月，Facebook 發現數百個賬戶上麵都有使用人工智能合成的假麵像來作為個人資料照片。

各種麵部操作方法的視覺結果，包括自監督生成的混合圖像

圖片來源：Face X-Ray論文（https://arxiv.org/pdf/1912.13458.pdf）

談回 Face X-Ray 檢測技術，它與現有方法不同，它不需要事先知道操作方法或人工監督；相反的是它會生成灰度圖像，顯示給定的輸入圖像是否可以分解為來自不同來源的兩個圖像的混合。

研究人員表示這一想法是可行的，因為大多數操作換臉的方法，都會有「將已改變的麵部混合到現有背景圖像中」這一步驟。但每幅圖像都有自己獨特的標記，這些標記是從硬件（如傳感器和鏡頭）或軟件組件（如壓縮和合成算法）引入的，並且這些標記往往在整個圖像中也以類似的方式呈現。

生成訓練樣本概述

圖片來源：Face X-Ray論文

因此，Face X-Ray 不需要依賴於與特定人臉操作技術相關聯的偽影知識，並且支持它的算法可以在不使用任何方法生成假圖像的情況下進行訓練。

在一係列實驗中，研究人員在 FaceForensics++（一個包含 1000 多個用四種最先進的人臉置換方法生成的原始剪輯的大型視頻語料庫），以及另一個包含由真實圖像構建的混合圖像的訓練數據集上訓練了 Face X-Ray。

他們評估了 FaceX-Ray 使用四個數據集進行概括的能力，其中包括：

上述 FaceForensics++語料庫的一個子集；

穀歌發布的數千個 deepfake 影視集合，deepfake 檢測挑戰賽的圖像；

Celeb DF，一個包含 408 個數據集真實視頻的語料庫和 795 個減少了視覺偽影的合成視頻。

結果表明，Face X-Ray 能有效地識別出未被發現的偽造圖像，並能可靠地預測融合區域。研究人員指出，該方法依賴於混合步驟的存在，因此它可能不適用於全合成圖像，並且它可以無法成功檢測出對抗性樣本的真偽。但撇開這一點，這也算是朝通用化麵部偽造圖像檢測工具邁出的有希望的一步。

AI 開發者