电竞比分网-中国电竞赛事及体育赛事平台

分享

AI對(duì)應(yīng)配音改演員口型 湯姆·漢克斯也能流利說(shuō)日語(yǔ)

 FTiger 2021-05-10

電影使用TrueSync再制作后,即使一名演員用英語(yǔ)拍攝了一部電影,對(duì)于聽(tīng)中文配音的電影觀眾來(lái)說(shuō),似乎所有的演員都在講中文。

多語(yǔ)言可視化翻譯,Deepfake釋放電影潛力

使用Deepfake技術(shù)改變視頻存在一定風(fēng)險(xiǎn),因?yàn)檫@會(huì)創(chuàng)造從未發(fā)生過(guò)的場(chǎng)景,讓演員講出他們沒(méi)有說(shuō)過(guò)的話,例如楊冪換臉等視頻的出現(xiàn)給當(dāng)事人帶來(lái)一定的困擾。

但Deepfake技術(shù)也可以讓電影制作更為便捷,成本更低,釋放電影真正的潛力。

事實(shí)證明,以前將外國(guó)電影進(jìn)行多語(yǔ)言配音或字幕更改的方式,會(huì)降低電影畫(huà)質(zhì),對(duì)外國(guó)觀眾來(lái)說(shuō)觀看較差。

Flawless公司的TrueSync工具將Deepfake技術(shù)用于電影制作,電影制品人和內(nèi)容所有者都可以利用TrueSync工具將外語(yǔ)電影視覺(jué)翻譯成任何觀眾的母語(yǔ)。

、變口型后電影沒(méi)法看?最大限度保留表演細(xì)節(jié)

Flawless匯集AI科學(xué)家、電影制片人和技術(shù)人員,所研發(fā)的TrueSync工具是全球首個(gè)使用AI以多種語(yǔ)言創(chuàng)建完美對(duì)口型可視化的系統(tǒng)。

TrueSync可以最大限度的保留原版電影的質(zhì)量和沉浸感,保留所有演員特質(zhì)表演細(xì)節(jié)。

因此,大家無(wú)需擔(dān)心Deepfake技術(shù)會(huì)破壞電影整體情緒。

在計(jì)算機(jī)圖形學(xué)的飛速發(fā)展下,Deepfake技術(shù)也在不斷迭代。

現(xiàn)在,業(yè)余創(chuàng)作者只需要用手機(jī)和電腦,也可以創(chuàng)作出好萊塢水準(zhǔn)的電影,而無(wú)需耗費(fèi)好萊塢電影類(lèi)似的成本。

例如,曾經(jīng)在視頻剪輯中手動(dòng)擦除對(duì)象是一個(gè)非常耗時(shí)的過(guò)程,需要逐幀調(diào)整,而現(xiàn)在剪輯軟件已經(jīng)可以自動(dòng)處理了。

三、剪輯師、鬼畜者福音,“AI換嘴”技術(shù)已逆天

近年來(lái),AI圖像處理能力正持續(xù)突破,各國(guó)AI換口型技術(shù)也在不斷創(chuàng)新迭代。

印度海德拉巴大學(xué)和英國(guó)巴斯大學(xué)研發(fā)了一個(gè)名為Wav2Lip的AI模型,可以在視頻中同步生成準(zhǔn)確唇語(yǔ)。任何人物身份,甚至包括卡通人物,任何語(yǔ)音和語(yǔ)言,都可以將口型視頻高精度同步到任何目標(biāo)語(yǔ)音。

▲Wav2Lip技術(shù)下配口型

美國(guó)華盛頓大學(xué)基于公開(kāi)的奧巴馬音視頻片段,用AI分析了數(shù)百萬(wàn)幀影像,以確定奧巴馬嘴唇、牙齒、嘴角等臉部變化,生成了口型幾乎完美匹配、高度逼真的假視頻。

▲奧巴馬換口型技術(shù)流程圖

此外,斯坦福大學(xué)、馬克斯普朗克信息學(xué)研究所、普林斯頓大學(xué)和Adobe Research的研究人員組織了一個(gè)團(tuán)隊(duì),創(chuàng)建了一種AI算法,給定任意文本就能隨便改變一段視頻里人物說(shuō)的話,并且改動(dòng)后看不出篡改痕跡。

▲改變文字后生成新視頻

結(jié)語(yǔ)Deepfake提升視頻生產(chǎn)效率

在Deepfake技術(shù)的發(fā)展下,電影制作商不僅可以降低電影譯制成本,還可以在演員念錯(cuò)臺(tái)詞時(shí)進(jìn)行補(bǔ)救,從整體上提升電影生產(chǎn)效率。

誕生于2017年的Deepfake雖近年來(lái)飽受非議,但隨著相關(guān)監(jiān)管的嚴(yán)格以及技術(shù)人員素養(yǎng)的提升,Deepfake商用場(chǎng)景不斷拓展,逐漸在內(nèi)容生產(chǎn)領(lǐng)域顯現(xiàn)出自己的潛力。

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買(mǎi)等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類(lèi)似文章 更多