如果只使用文字，就能創(chuàng)作出一部以《阿基拉》為靈感的賽博朋克影片，那會怎么樣？對于藝術(shù)家團(tuán)體Sagans來說，這是一個值得開拓的未來。最近，他們使用虛幻引擎的MetaHuman技術(shù)，同時配合AI算法，僅憑文本描述就為其首部音樂錄影帶《Coherence》生成了大部分鏡頭。

在最終成品所描繪的后現(xiàn)代圖景中，一位女性正在新城市中尋找著屬于自己的位置，畫面采用素描風(fēng)格，鏡頭伴隨著音樂不斷移動，從明亮的櫻花樹轉(zhuǎn)場至紐約地鐵。Sagans的藝術(shù)家們共同展示了，AI不一定預(yù)示著我們的工作（甚至整個世界）將被它接管的可怕前景。相反，它可能會成為釋放我們?nèi)聞?chuàng)作潛力的關(guān)鍵。

顛覆音樂行業(yè)

根據(jù)Sagans的3D專家Aurelien的說法，《Coherence》準(zhǔn)確地代表了這個團(tuán)體所要實現(xiàn)的目標(biāo)。“我們感覺，音樂行業(yè)不愿意冒險，除非存在利益驅(qū)動因素。”他解釋說，“因此靠譜的內(nèi)容開始減少，這正是促使我們創(chuàng)辦Sagans的最初原因。”

Sagans團(tuán)體由音樂家、美術(shù)設(shè)計師和研究人員組成，他們在制作第一部音樂錄影帶之前，并不需要等待歌曲創(chuàng)作完成。這為團(tuán)隊提供了更多的時間和自由，探索如何通過人工智能和實時圖形等技術(shù)實現(xiàn)愿景。

“虛幻引擎5是我們最先決定采用的技術(shù)，”Aurelien繼續(xù)說，“我們首先通過Quixel資產(chǎn)庫創(chuàng)建了整個世界，緊接著，我們采用MetaHuman Creator創(chuàng)造了逼真的角色。這為我們改變了一切。突然間，我們就可以在短時間內(nèi)制作出漂亮的東西了。我們知道，我們已經(jīng)準(zhǔn)備就緒，可以開始制作《Coherence》了。”

添加AI

起初，團(tuán)隊決定使用大友克洋的經(jīng)典動畫《阿基拉》的風(fēng)格，為視頻的審美奠定基礎(chǔ)。下一步就創(chuàng)造視頻中的女主角。“在使用虛幻引擎工作之前，我們對3D世界不是很熟悉，”Aurelien說，“乍看之下，創(chuàng)造角色似乎是一項非常復(fù)雜的任務(wù)。幸運的是，MetaHuman Creator讓事情變簡單了。”

為了創(chuàng)造讓觀眾感覺親切的角色，團(tuán)隊混合了MetaHuman數(shù)據(jù)庫中三張面孔的元素，找到了自己喜歡的結(jié)果。接下來，他們使用iOS的Live Link Face應(yīng)用，為角色制作了面部表情動畫。與此同時，Sagans的藝術(shù)家們還開始使用Quixel構(gòu)建視頻的虛幻引擎環(huán)境，從日本風(fēng)格的英國街道，到紐約的地鐵，應(yīng)有盡有。

“創(chuàng)建環(huán)境時，Lumen發(fā)揮了至關(guān)重要的作用，”Aurelien解釋說，“有了它，我們能夠在不使用大量硬件資源的前提下實時處理光照。再配合使用Niagara創(chuàng)造雨水等粒子，在短短幾秒鐘內(nèi)，我們就可以生成與用戶界面中完全一致的渲染。”

最后一步是根據(jù)場景的需要，通過三套獨立的AI算法生成虛幻引擎輸出，營造最終的大友克洋風(fēng)格。第一套算法允許Sagans的藝術(shù)家使用文本描述場景風(fēng)格，然后以視頻形式將其表現(xiàn)出來。第二套算法會使用參考圖像制作動畫視頻，而最后一套算法可將實景真人電影轉(zhuǎn)變成風(fēng)格化的動畫影片。

“在大多數(shù)鏡頭中，我們都用到了文本轉(zhuǎn)視頻算法。”Aurelien補(bǔ)充說，“為此，我們使用Disco Diffusion 5幫助生成單獨的幀，然后通過算法將這些幀轉(zhuǎn)變成視頻。我們必須確保文本內(nèi)容非常詳細(xì)，不僅能描述出風(fēng)格，還要填補(bǔ)所有紕漏：如果沒有提到天空，機(jī)器可能會忘記城市頂部必須有一片天空。在得到不錯的第一幀畫面之后，我們還要根據(jù)運鏡的需要，提供足夠的描述，生成接下來的幀，然后在第20幀處最后一次檢查渲染。”

使用虛幻引擎的成果

由于使用了獨特的實時3D和AI工作流程，從第一個鏡頭到《Coherence》的最終渲染，整個過程只花了三位Sagans創(chuàng)作者八周時間。“我們想要一種既簡單易用又足夠快速的解決方案，幫助我們迅速實現(xiàn)愿景，虛幻引擎沒有讓我們失望。”Aurelien補(bǔ)充說，“只需幾次點擊，我們就可以輕松創(chuàng)建極其精細(xì)的角色和城市環(huán)境，在沒有動作捕捉服的情況下為女主角制作動畫。”

現(xiàn)在，《Coherence》已創(chuàng)作完成，團(tuán)隊計劃在未來的音樂錄影帶項目中繼續(xù)使用虛幻引擎和AI。“第一次發(fā)布內(nèi)容通常會讓人傷腦筋，但《Coherence》取得了出色的反響，”Aurelien總結(jié)說，“我們希望人們明白，人工智能的出現(xiàn)是為了協(xié)助和激勵我們，而不是搶走我們的工作，這個錄影帶正是我們實現(xiàn)這個目標(biāo)的第一步。”

本文轉(zhuǎn)自虛幻引擎官網(wǎng)~