欧美日韩精品国产,欧美aⅴ99久久黑人专区,亚洲综合久久久久,中文字幕一区二区三区精彩视频

多媒體內(nèi)容制作公司Metaverse Entertainment承襲了Netmarble F&C的技術(shù)和Kakao Entertainment的敏銳，具備足夠的能力與基礎(chǔ)設(shè)施制作電影和電視劇，創(chuàng)造從視覺(jué)特效到虛擬人類的各種內(nèi)容，并將這些IP擴(kuò)展成各種形式。

虛擬韓流樂(lè)隊(duì)MAVE:于2023年1月底推出了首部音樂(lè)視頻。視頻發(fā)布后，她們?cè)陧n國(guó)的熱門(mén)音樂(lè)節(jié)目《Show！音樂(lè)中心》中首次亮相，掀起了一陣韓流音樂(lè)的新熱潮。MAVE:的角色逼真，動(dòng)畫(huà)惟妙惟肖，最關(guān)鍵的是音樂(lè)瑯瑯上口——這一切使她們贏得了廣泛的關(guān)注。截至撰寫(xiě)這篇聚焦新聞時(shí)，MAVE:的音樂(lè)視頻播放量已突破2100萬(wàn)次，而她們舞臺(tái)首秀視頻的觀看記錄也達(dá)到了300萬(wàn)次。MAVE:正在通過(guò)電視節(jié)目和社交媒體等各種方式與歌迷交流。

在本文中Metaverse Entertainment的首席技術(shù)官兼理事Sungkoo Kang為我們介紹了Metaverse Entertainment如何利用虛幻引擎和MetaHuman創(chuàng)造真實(shí)的數(shù)字人類，以及如何在短時(shí)間內(nèi)為多個(gè)平臺(tái)創(chuàng)造內(nèi)容。

組建MAVE:的第一步應(yīng)該是創(chuàng)造樂(lè)隊(duì)成員。在創(chuàng)造數(shù)字角色時(shí)，你們的目標(biāo)是什么？

創(chuàng)建四人虛擬樂(lè)隊(duì)MAVE:時(shí)，我們的目標(biāo)是創(chuàng)造有吸引力的角色，她們都具有嶄新的面孔，在世界上獨(dú)一無(wú)二。要?jiǎng)?chuàng)造有魅力的角色，僅關(guān)注外貌是不夠的，還必須考慮一系列面部表情，以應(yīng)對(duì)不同的情境。因此，我們集中精力，構(gòu)建并完善了一套管線和技術(shù)來(lái)實(shí)現(xiàn)這一目標(biāo)。

你們的角色是使用MetaHuman創(chuàng)造的。能否說(shuō)明一下為什么選擇這項(xiàng)技術(shù)？

正如我剛才提到的，除了迷人的外貌，要?jiǎng)?chuàng)造真實(shí)可信的角色，最重要的是針對(duì)不同的情境，準(zhǔn)備一系列精致的面部表情。然而，創(chuàng)建和修改這類面部表情是一項(xiàng)耗時(shí)且昂貴的任務(wù)，因?yàn)樗x不開(kāi)綁定和建模，并且需要反復(fù)修正和驗(yàn)證。因此，Epic基于幾十年數(shù)字人類創(chuàng)造經(jīng)驗(yàn)開(kāi)發(fā)出來(lái)的MetaHuman技術(shù)成了我們的完美選擇。在我們的角色構(gòu)建管線中，它是至關(guān)重要的一環(huán)。

我們能夠通過(guò)MetaHuman面部綁定輕松創(chuàng)建我們想要的面部表情，并在角色之間共用動(dòng)畫(huà)。此外，我們還能夠參考Epic Games發(fā)布的《Rig Logic：MetaHuman面部綁定的運(yùn)行時(shí)評(píng)估》白皮書(shū)，集中精力展開(kāi)研發(fā)工作（例如，改進(jìn)控制綁定）。同時(shí)，這項(xiàng)技術(shù)高度兼容NVIDIA的Audio2Face、iPhone的Live Link Face應(yīng)用、Faceware和FACEGOOD等外部工具，這使我們能夠共享底層的網(wǎng)格體拓?fù)浣Y(jié)構(gòu)、UV、關(guān)節(jié)結(jié)構(gòu)和功能按鈕，從而應(yīng)用MetaHuman的動(dòng)畫(huà)，并大幅減少實(shí)際制作時(shí)間。

你們?yōu)槭裁催x擇將虛幻引擎與MetaHuman搭配在一起使用？

計(jì)劃MAVE:項(xiàng)目時(shí)，我們深入地思考了項(xiàng)目的定位以及我們希望該虛擬樂(lè)隊(duì)參加的活動(dòng)類型。內(nèi)容的制作效率是我們要考慮的頭等大事。大量的活動(dòng)意味著需要制作大量?jī)?nèi)容，這對(duì)制作效率提出了要求。如果無(wú)法滿足這種效率，我們可能不得不在視覺(jué)質(zhì)量上做出妥協(xié)。因此我們選擇了虛幻引擎，它不僅能夠提供效率，也帶來(lái)了優(yōu)秀的實(shí)時(shí)渲染質(zhì)量。我們使用虛幻引擎擴(kuò)展了MAVE:在各個(gè)領(lǐng)域的活動(dòng)范圍，這包括在短時(shí)間內(nèi)制作一段跨媒體音樂(lè)視頻，讓她們參與社交媒體活動(dòng)，并出演即將播出的電視節(jié)目和商業(yè)廣告。

社交媒體是進(jìn)行交流和創(chuàng)造紐帶的重要渠道，為了利用它實(shí)現(xiàn)這些目標(biāo)，我們需要大量各種形式的優(yōu)質(zhì)內(nèi)容。因此我們選擇了虛幻引擎，而非其他工具。通過(guò)使用虛幻引擎，我們能夠創(chuàng)建各種形式的內(nèi)容，包括逼真的圖像和視頻，用來(lái)在多個(gè)社交平臺(tái)上與歌迷互動(dòng)。

請(qǐng)介紹一下MAVE:各位角色的創(chuàng)造管線。

MAVE:創(chuàng)造團(tuán)隊(duì)的專業(yè)人才具有各種不同的背景（例如，可能來(lái)自游戲和電影行業(yè)），因此團(tuán)隊(duì)成員可以根據(jù)自己的專長(zhǎng)，使用不同的DCC工具。舉例而言，具有游戲行業(yè)背景的團(tuán)隊(duì)成員精通實(shí)時(shí)渲染，而來(lái)自媒體與娛樂(lè)行業(yè)的成員則擁有視頻媒體制作方面的專業(yè)知識(shí)，所以我們建立了特殊的管線，最大限度地發(fā)揮所有團(tuán)隊(duì)成員之間的協(xié)作效果。

這套管線包含角色策劃和角色創(chuàng)建。角色創(chuàng)建可以細(xì)分為多個(gè)具體的步驟，如建模、創(chuàng)建和綁定面部表情、創(chuàng)造頭發(fā)，以及校準(zhǔn)身體。

我們會(huì)在角色策劃階段設(shè)計(jì)每位角色的外貌。這個(gè)過(guò)程離不開(kāi)與Kakao Entertainment專家的密切合作，在策劃成功的韓流樂(lè)隊(duì)方面，他們有著豐富的經(jīng)驗(yàn)。然而，傳統(tǒng)韓流樂(lè)隊(duì)的成員選拔自現(xiàn)成的練習(xí)生人才庫(kù)，其外貌由妝容和造型決定。但對(duì)于虛擬樂(lè)隊(duì)而言，我們必須將虛擬人類塑造成有魅力的嶄新人物，我們要關(guān)注的不僅僅是其外貌，還有細(xì)致的面部表情、動(dòng)作和語(yǔ)言模式等。

為了彌補(bǔ)這種差別，并提供盡可能接近策劃團(tuán)隊(duì)原來(lái)環(huán)境的工作環(huán)境，制作團(tuán)隊(duì)構(gòu)建了一套管線，允許他們使用GAN網(wǎng)絡(luò)自動(dòng)生成目標(biāo)圖片，并手動(dòng)修改或組合特征向量。如此一來(lái)，策劃團(tuán)隊(duì)無(wú)需從頭開(kāi)始創(chuàng)造角色的外貌，他們能夠選擇現(xiàn)有的角色，并依據(jù)策劃修改其參數(shù)。在打造成功的韓流樂(lè)隊(duì)方面，策劃團(tuán)隊(duì)多年來(lái)已經(jīng)建立起了成熟的方案，他們通過(guò)分享與此相關(guān)的深刻見(jiàn)解，為我們提供了幫助。

由于角色風(fēng)格將直接影響面部模型，在展開(kāi)面部定義步驟中的建模工作之前，我們與熟悉韓流樂(lè)隊(duì)服裝和發(fā)型的專業(yè)造型師進(jìn)行合作，確定了成功的造型。如果我們掃描真正的人類，就能更快地創(chuàng)造出逼真的外貌，但這也會(huì)帶來(lái)一些問(wèn)題，比如很難找到看起來(lái)完全符合我們心意的人，還會(huì)存在肖像權(quán)問(wèn)題。所以我們使用建模工具創(chuàng)造了MAVE:的面孔。

在面部表情的創(chuàng)建和修改步驟中，我們采用自己的工具分析了模型，并利用每個(gè)面部區(qū)域的位置和大小信息以及肌肉運(yùn)動(dòng)信息自動(dòng)生成了大約800種面部表情。整個(gè)過(guò)程差不多就是在輸入基本的網(wǎng)格體類型時(shí)自動(dòng)生成面部表情，與網(wǎng)格體轉(zhuǎn)MetaHuman插件的功能類似。我們之所以開(kāi)發(fā)了自己的工具，是因?yàn)榫W(wǎng)格體轉(zhuǎn)MetaHuman插件當(dāng)時(shí)尚未發(fā)布，在根據(jù)需要修改算法和建立自動(dòng)化管線方面，它對(duì)我們大有幫助。

另外，作為對(duì)標(biāo)準(zhǔn)面部表情的補(bǔ)充，我們還構(gòu)建了一項(xiàng)定制獨(dú)特面部表情的功能，以反映角色的個(gè)性。添加這些新的面部表情需要合適的綁定，所以我們?cè)谔摶靡嬷凶詣?dòng)生成了控制綁定，并為角色設(shè)置了它們。

頭發(fā)基底是使用Maya的XGen工具集創(chuàng)建的。虛幻引擎使用Groom渲染頭發(fā)，這個(gè)過(guò)程是實(shí)時(shí)的，但質(zhì)量非常高，還為我們節(jié)省了大量時(shí)間。然而，有時(shí)候，我們不能使用Groom，因?yàn)槲覀冃枰獙?shí)現(xiàn)更高的性能。為了應(yīng)對(duì)這種情況，我們創(chuàng)建了一款工具，將基于Groom的頭發(fā)轉(zhuǎn)變成發(fā)片。我們通過(guò)自動(dòng)化方式優(yōu)化了工作流程，在修改和應(yīng)用發(fā)型時(shí)，不再需要手動(dòng)執(zhí)行任務(wù)（例如在轉(zhuǎn)變發(fā)型的過(guò)程中，如果綁定資產(chǎn)不存在，就創(chuàng)建它）。

在身體校準(zhǔn)步驟中，我們也采用了自動(dòng)化技術(shù)；我們還利用了幾十種校準(zhǔn)形狀，根據(jù)姿勢(shì)修改身體形狀。我們開(kāi)發(fā)了一種新的解算算法，以避免使用Maya徑向基函數(shù)解算器（RBF）時(shí)可能出現(xiàn)的問(wèn)題（包括無(wú)法將層次結(jié)構(gòu)應(yīng)用于插值，以及應(yīng)用精細(xì)設(shè)置時(shí)更有可能出現(xiàn)的非預(yù)期身體形狀）。

此外，通過(guò)使用虛幻引擎的物理系統(tǒng)、布料模擬、AnimDynamic節(jié)點(diǎn)以及其他各種解決方案，我們?cè)诜b和配飾中創(chuàng)造出了自然的反應(yīng)。團(tuán)隊(duì)還利用虛幻引擎對(duì)DMX的支持，成功地創(chuàng)造了一座壯觀的舞臺(tái)。

（左）應(yīng)用校準(zhǔn)形狀為手部形狀計(jì)算插值之前；（右）應(yīng)用校準(zhǔn)形狀之后

籌劃并創(chuàng)造逼真的舞臺(tái)，將韓流音樂(lè)的激情與虛擬樂(lè)隊(duì)聯(lián)結(jié)在一起肯定充滿困難。這個(gè)過(guò)程是怎樣的？

為了創(chuàng)作能夠體現(xiàn)韓流情感的音樂(lè)視頻，我們與曾實(shí)際執(zhí)導(dǎo)過(guò)此類視頻的導(dǎo)演、攝影指導(dǎo)、設(shè)備操控團(tuán)隊(duì)、搖臂操作員以及真人韓流舞蹈團(tuán)隊(duì)展開(kāi)了合作。我們還試著重現(xiàn)和提供了一個(gè)與傳統(tǒng)流程及條件完全相同的舞臺(tái)環(huán)境，讓這支韓流制作團(tuán)隊(duì)能夠充分發(fā)揮其所長(zhǎng)。作為這項(xiàng)工作的一部分，我們建造了一座大型（20米×20米×8米）視效中心，以便在像實(shí)際音樂(lè)視頻布景那樣寬敞的空間中捕捉動(dòng)作，我們計(jì)劃捕捉的不僅僅是演員的表演，還有實(shí)際拍攝設(shè)備的運(yùn)動(dòng)軌跡，這樣一來(lái)，我們稍后就可以重現(xiàn)音樂(lè)視頻中眩目的運(yùn)鏡效果。

演員們穿著動(dòng)作捕捉套裝表演舞蹈，我們像拍攝真正的現(xiàn)場(chǎng)音樂(lè)表演那樣，將這一切記錄了下來(lái)。這些使用Mo-Sys StarTracker追蹤的攝像機(jī)數(shù)據(jù)將用于直接在虛幻引擎中創(chuàng)建最終虛擬表演，營(yíng)造一種真實(shí)可信的感覺(jué)。我們?cè)谔摶靡嬷蓄A(yù)覽了攝像機(jī)的角度和演員的動(dòng)作，這讓我們可以即時(shí)在現(xiàn)場(chǎng)檢查結(jié)果，然后在Vicon Shogun和虛幻引擎中同布錄制。

錄制的方式也與真正的韓流音樂(lè)視頻一樣，同時(shí)捕捉了四名成員的表演。我們首先使用攝像機(jī)現(xiàn)場(chǎng)拍攝的動(dòng)作捕捉數(shù)據(jù)編輯剪輯，然后根據(jù)剪輯過(guò)的鏡頭整理動(dòng)作捕捉。這樣一來(lái)，我們就能夠重點(diǎn)關(guān)注將在最終版本中實(shí)際使用的部分。我們得到的動(dòng)作源自真實(shí)的人類，因此它們看上去更自然。

請(qǐng)談?wù)凪AVE:即將推出的內(nèi)容，以及Metaverse Entertainment的未來(lái)計(jì)劃。

作為利用虛幻引擎的虛擬明星，MAVE:正在準(zhǔn)備將讓她們?cè)陧n流組合中脫穎而出的全新內(nèi)容。

我們計(jì)劃通過(guò)在電影、電視劇和游戲中使用我們的IP，進(jìn)一步擴(kuò)大我們的業(yè)務(wù)領(lǐng)域，但與此同時(shí)，我們也將繼續(xù)擴(kuò)展我們?cè)谔摂M人類和元宇宙等方面的專長(zhǎng)。在這個(gè)過(guò)程中，我們需要使用虛幻引擎為實(shí)時(shí)粉絲內(nèi)容、互動(dòng)內(nèi)容和新媒體等各種內(nèi)容創(chuàng)造堅(jiān)實(shí)的基礎(chǔ)。