电竞比分网-中国电竞赛事及体育赛事平台

分享

問(wèn):在AI世界,推土機(jī)“生產(chǎn)”哪家強(qiáng)?

 學(xué)術(shù)頭條 2022-07-07 發(fā)布于北京


如果有人問(wèn)你,“挖掘機(jī)技術(shù)哪家強(qiáng)?”

你大概率會(huì)想起這句知名廣告詞:“中國(guó)山東找藍(lán)翔”。
(不打廣告,不打廣告。)

那如果換個(gè)對(duì)象,換個(gè)問(wèn)法,
“在人工智能(AI)的世界里,哪一家的推土機(jī)更 cool?”

一個(gè)可能的答案是什么?

來(lái),先斗一波圖再說(shuō)。




怎么樣?各式各樣的推土機(jī)(們),是不是十分酷炫,且充滿了藝術(shù)氣息?

但事實(shí)上,它們?cè)诂F(xiàn)實(shí)中的模板,只是下面這個(gè)普普通通的、“大黃蜂”顏色的推土機(jī)。

當(dāng)丑陋的推土機(jī)碰上梵高的《星空》,神奇的事情就發(fā)生了。

而讓推土機(jī)任意變裝的“魔法師”們,來(lái)自康奈爾大學(xué)(Cornell University)和 Adobe Research。

據(jù)介紹,他們可以利用人工智能技術(shù)將著名藝術(shù)品的風(fēng)格融入任意 3D 場(chǎng)景中。

而且,相比于以往的研究,這一最新技術(shù)可以顯示出更高質(zhì)量的細(xì)節(jié)。

圖|新方法顯示出更少的幾何偽影(來(lái)源:arXiv)


除了《星空》風(fēng)格,研究團(tuán)隊(duì)也成功為一輛皮卡貨車(chē)配上了愛(ài)德華·蒙克的《吶喊》的藝術(shù)風(fēng)格,無(wú)論是在顏色匹配契合度上,還是在細(xì)節(jié)呈現(xiàn)上,融入效果都更優(yōu)。

(來(lái)源:arXiv)

相關(guān)研究論文以“ARF: Artistic Radiance Fields”為題,已發(fā)表在預(yù)印本網(wǎng)站 arXiv 上。

據(jù)論文描述,轉(zhuǎn)換質(zhì)量提高的原因是,研究團(tuán)隊(duì)的人工智能技術(shù)可以直接比較原始圖像和新風(fēng)格的 3D 場(chǎng)景之間的細(xì)節(jié)。而以往的人工智能技術(shù),只是將圖像特征轉(zhuǎn)換為更緊湊的統(tǒng)計(jì)集進(jìn)行分析,從而丟失了很多原始細(xì)節(jié)。

對(duì)此,論文作者之一 Kai Zhang 表示,“我們?cè)噲D真正捕捉微妙的藝術(shù)風(fēng)格,就像《星空》的筆觸。這對(duì)人類(lèi)的感知非常重要,因?yàn)槲覀兊难劬?duì)局部細(xì)節(jié)非常敏感?!?br>
在此次工作中,研究團(tuán)隊(duì)證明了基于最近鄰特征匹配(NNFM)樣式損失在捕捉風(fēng)格細(xì)節(jié)方面非常有效,同時(shí)保持了多視圖的一致性。

圖|基于 NNFM 獲得一致的自由視點(diǎn)風(fēng)格效果圖(來(lái)源:arXiv)

同時(shí),他們還提出了一種新的延遲反向傳播(deferred back-propagation)方法——利用全分辨率渲染圖像上定義的風(fēng)格損失來(lái)優(yōu)化內(nèi)存密集型的輻射場(chǎng)。

圖|延遲反向傳播示意圖(來(lái)源:arXiv)


此外,他們?cè)谝粋€(gè)在線調(diào)查中展示了 5 個(gè)不同的 3D 場(chǎng)景的 5 種不同藝術(shù)風(fēng)格的視頻,相比于以往的人工智能技術(shù),他們的人工智能技術(shù)更受歡迎,占比超過(guò) 86%,獲得了更多的分?jǐn)?shù)。

創(chuàng)造藝術(shù)形象通常需要大量的時(shí)間和特殊的專(zhuān)業(yè)知識(shí),將藝術(shù)作品擴(kuò)展到 2D 圖像平面之外的維度,比如時(shí)間(在動(dòng)畫(huà)中)或 3D 空間(在雕塑或虛擬環(huán)境中),會(huì)面臨很多限制和挑戰(zhàn)。

研究團(tuán)隊(duì)表示,這一最新的風(fēng)格轉(zhuǎn)換技術(shù)(style transfer technique)未來(lái)有望用于動(dòng)畫(huà)電影和游戲行業(yè)中,用于手動(dòng)微調(diào)前的風(fēng)格模板。

此外,這一技術(shù)也同樣適用于寫(xiě)實(shí)風(fēng)格轉(zhuǎn)換(photorealistic style transfers),比如將正午時(shí)的自由女神像轉(zhuǎn)換為日落時(shí)的自由女神像。


但是,這一技術(shù)也有很多局限性。例如,在捕捉 360 度可視場(chǎng)景時(shí),還是需要借助可以懸停、從多角度捕捉視圖的多相機(jī)或無(wú)人機(jī)的幫助。

而且,
算法成功運(yùn)算一次可能需要 20 分鐘的時(shí)間。這是一個(gè)非常耗時(shí)的過(guò)程,因?yàn)樵诜磸?fù)試驗(yàn)的過(guò)程中,人們可能會(huì)嘗試不同的風(fēng)格。

為此,研究團(tuán)隊(duì)在接下來(lái)的工作中將致力于提高內(nèi)容生成的效率。

或許在未來(lái)的某一天,這一技術(shù)將用在人人都在使用的智能手機(jī)上。

參考資料:
https:///abs/2206.06360
https://www.cs./projects/arf/
https://github.com/Kai-46/ARF-svox2

點(diǎn)這里關(guān)注我??記得標(biāo)星~

# 直播預(yù)告 #

藥明康德生命化學(xué)研究獎(jiǎng)旨在獎(jiǎng)勵(lì)從事化學(xué)、生命科學(xué)、醫(yī)學(xué)、藥學(xué)等領(lǐng)域的研究,并在科研創(chuàng)新、成果推廣及高新技術(shù)產(chǎn)業(yè)化等方面取得突出成就的中青年科技人才。

    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶(hù) 評(píng)論公約

    類(lèi)似文章 更多