近日,三星實驗室有一個名為 MegaPortraits 的新 AI 換臉工具在國外爆火,簡單來說就是這款 AI 工具可以捕捉真人的臉部動作,讓靜態肖像可以模仿真人的表情、動作,讓其“動”起來。

從 GIF 中我們可以看到,一段視頻就可以讓原本靜態的圖片動起來,甚至還能展示出側臉的輪廓,這些都是 MegaPortraits AI 換臉工具自行“腦補”出來的畫面,任何細微的表情都可以“魂穿”到圖片的人物當中,仿佛它原本就是一段視頻一樣,看不出破綻。

這項技術的工作方式是將源圖像與“驅動圖像”的運動混合在一起,然后將“驅動圖像”的運動嵌入到源圖像中,每一幀生成運動的 AI 模型是從來自源圖像和“驅動圖像”的兩個隨機幀中訓練出來的,這里的“驅動圖像”就是指上面兩組 GIF 中最左側的真人。

“驅動圖像”的外觀及其運動在被投影到原始圖像上之前由模型分別處理。在這項工作中,三星將神經頭頭像技術提升到百萬像素分辨率,高分辨率頭像的設計目的是無論真人看起來與圖片中的形象相差大不大,都可以實現圖片動態化,而不需要像其他 deepfake 軟件需要的面部形狀或膚色相似才能模仿。

所以即便當“驅動圖像”的外觀與源圖像的外觀有很大不同時,也可以利用中等分辨率的視頻數據和高分辨率的圖像數據來實現所需的渲染圖像質量水平和運動的變化。

MegaPortraits 研究人員解釋道:“我們的訓練設置是相對標準的,我們每一步從我們的數據集中采樣兩個幀:源幀和驅動幀。我們的模型將驅動幀的運動 (即頭部姿勢和面部表情) 強加到源幀的外觀上,以產生輸出后的圖像。”

他們還表示:“主要的學習信號是從源幀和驅動幀來自同一視頻的訓練集中獲得的,因此我們的模型預測經過訓練以匹配驅動幀。”

IT之家了解到,MegaPortraits 研究人員表示,目前 MegaPortraitsAI 換臉工具在肩膀以及服裝區域表現不佳,他們將來也會著重改善這個問題。