科技 新浪科技 迪士尼發布首個百萬像素高解析度換臉演算法,拍電影可以安排了

迪士尼發布首個百萬像素高解析度換臉演算法,拍電影可以安排了

新浪科技 2020-06-30 18:23

原標題:迪士尼發布首個百萬像素高解析度換臉演算法,拍電影可以安排了

原創 關注前沿科技 量子位
魚羊 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
換臉這件事,從未如此高清。
9edc-ivrxcex7580246.gif
最流行的開源deepfake模型DeepFakeLab,在今年的更新中,最大解析度也只達到了320×320。
而這隻來自迪士尼和ETHZ的全新deepfake,在保持高度流暢這一優良傳統的同時,還一舉把解析度拉高到了1024×1024的水平。
這也是deepfake的解析度水平首次達到百萬像素。
這下,換臉之後,每一根眉毛都仍然清晰可見。
1725-ivrxcex7580257.gif
動圖畫質略有損失,用靜態圖來感受一下這個清晰度:
3ffe-ivrxcex7580639.jpg
難怪網友忍不住驚呼:鵝妹子嚶。
為特效而生的高解析度deepfake
在此之前,deepfake技術的改進重點主要在平滑換臉效果,而不是提高解析度。
但320×320這樣的解析度下,手機上看換臉效果可能行雲流水看不出破綻,換到大屏幕上,缺陷就會很明顯。
7e0b-ivrxcex7582315.jpg
為了提高解析度,迪士尼的這項研究主要引入了逐步訓練的多向梳狀網路,並提出了一個完整的人臉交換管道,包括保留光線和對比度的混合方法,以減少視頻常出現不真實的抖動,生成時間上穩定的視頻序列。
具體而言,分為以下幾個步驟:
首先,對輸入人臉進行裁剪和歸一化預處理,將人臉歸一化為1024×1024解析度,並保存歸一化參數。
而後,預處理過的圖像會被輸入到通用編碼器中,用相應的解碼器Ds進行解碼。
最後,用多頻段混合方法來交換目標人臉和源人臉。
2559-ivrxcex7581341.jpg
漸進式訓練的多向梳狀網路
在網路架構上,迪士尼採用了單個編碼器、多個解碼器的方案,稱作「梳子模型」。
即,網路的編碼部分是共享的,而解碼路徑則分成P個域。
8c58-ivrxcex7581338.jpg
這樣一來,一個模型就能同時處理多個源-目標對。
並且,實驗表明,與雙向模型相比,多向訓練模型可以提高表達的保真度。
由於多向編碼器允許生成不同的輸出,這些輸出既可以對應不同的身份,也可以對應不同照明條件下的同一張臉。
此外,還有一重優勢是,相比于雙向網路,使用單一網路的訓練時間能明顯減少。
網路的訓練,則採取漸進式機制。
首先,對高解析度輸入數據進行下採樣,形成粗糙的低解析度圖像,先用這些低解析度圖像進行訓練。此後,逐步在訓練中加入高解析度圖像,逐漸擴大網路的容量。
消除時間偽影
為了消除可見的時間偽影,研究人員還提出了一種穩定標誌物定位演算法的方法。
具體而言,是對人臉進行初始檢測和對其,並標記人臉邊界框的寬度w 。
然後,通過在圖像平面的不同方向上擾動βw個像素,來重新初始化原始邊界框n次。
研究人員發現,在1024×1024解析度下,β=0.05和n=9時,可以消除所有可見的時間偽影。
保留光線和對比度的混合方法
不過,即使人臉已經完全對齊,姿勢和面部表情也完全匹配,光度失准等問題,依然會造成換臉效果的不和諧。
比如出現明顯的接縫。
d344-ivrxcex7581387.jpg
針對這個問題,研究人員採用了保留光線和對比度的多頻段混合方法,並強制要求邊界平滑效果只傳播人臉內部,確保外側的人臉輪廓不會被平滑掉。
與常用的泊松混合(Poisson blending)方法相比,在目標人臉圖像和源人臉圖像光照不同的情況下,該方法消除偽影的效果更好。
be50-ivrxcex7581386.jpg
所以,這個高清deepfake的效果應該如何評價?
直接看對比:
825a-ivrxcex7581445.jpg
deepfake登上大熒幕,指日可待
不過,研究人員也指出,這個高清deepfake仍有局限性。
從展示的示例中可以看出,大部分人臉圖像都是正對鏡頭的。
誇張的表情、極端的角度和光線,仍然會導致模糊和偽影。
0bc3-ivrxcex7582419.jpg
但解析度的提升,依然給deepfake帶來了全新的商業可能性。
迪士尼就曾經在《星球大戰》系列電影《俠盜一號》里,用特效換臉技術讓已故演員Peter Cushing和Carrie Fisher重返熒幕。
不過,採用傳統特效技術,通常要花費數月時間,才能獲得幾秒鐘的畫面,成本十分高昂。
相比之下,構建原始模型之後,deepfake在數小時之內就能完成換臉視頻的製作。
看來,deepfake技術登上大屏幕,或許離實現不遠了。
參考鏈接:
論文地址:
http://studios.disneyresearch.com/2020/06/29/high-resolution-neural-face-swapping-for-visual-effects/
https://www.theverge.com/2020/6/29/21306889/disney-deepfake-face-swapping-research-megapixel-resolution-film-tv