Unity創(chuàng)造VR中的百萬人的音樂狂歡

在除夕夜音樂會的后臺工作，是一種怎樣的感覺，本文帶你了解一場突破世界紀(jì)錄的百萬名觀眾音樂狂歡盛宴。

如果音樂會發(fā)生在大流行封鎖期間，觀眾不得不呆在家里，那會怎么樣？

進(jìn)入到虛擬現(xiàn)實音樂會幾乎可以感受到和親自到場一樣的瘋狂體驗——有時甚至更令人興奮。此次音樂狂歡中的數(shù)百萬（虛擬）觀眾同樣也感受到了這一點。

音樂人Jean Michel Jarre 戴著太陽眼鏡和黑色頭帶身處于昏暗的背景中，紅藍(lán)相間的光線照射在他的臉上

此次音樂會的AR/VR負(fù)責(zé)人安東尼·維蒂洛（Antony Vitillo）完整記錄下了讓·米歇爾·雅爾（Jean Michel Jarre）的歡迎來到另一邊（WTTOS）整場音樂會。其中國際電子音樂巨星在巴黎圣母大教堂的虛擬現(xiàn)實復(fù)制品中進(jìn)行表演，與世界各地的觀眾一起慶祝除夕。

本次音樂會獲得了超過7500萬的瀏覽量，顯然在國際音樂節(jié)獲得了巨大的成功。安東尼和團(tuán)隊使用Unity將所有節(jié)目整合到一起。

三個月的時間限制

三個月對于任何舞臺活動來說都是一個緊迫的時間限——因為籌備組需要考慮到燈光設(shè)計、聲音設(shè)計、舞臺視覺效果、煙火和后勤等等一系列方面——對于一個需要軟件開發(fā)的音樂會來說時間更是尤其緊迫。但隨著除夕的臨近，團(tuán)隊在9月啟動了項目，并在10月初積極集結(jié)開始工作。

當(dāng)時其中一位合作者，燈光編導(dǎo)杰萬·莫蘭迪（Jvan Morandi）進(jìn)入這個項目時，他問道，“這個項目定在2021年夏天，對嗎？”但當(dāng)他發(fā)現(xiàn)項目其實是定在2020年底時，他幾乎沖著安東尼大吼，“你們這些家伙完全瘋了！”

一步一步來

設(shè)計階段

本次音樂會的籌辦團(tuán)隊由虛擬現(xiàn)實體驗公司VrOOm召集，由首席執(zhí)行官路易斯·卡丘托洛（Louis Cacciuttolo）領(lǐng)導(dǎo)，他們以前有在倉促制作中完成項目的經(jīng)驗，并且擁有在設(shè)計階段構(gòu)建整體架構(gòu)的思路。在這一階段，本次音樂會的表演者讓·米歇爾·雅爾和各種體驗藝術(shù)家決定了整場音樂會將主要注重于于整體外觀和感覺的視覺體驗。

圖片展示了“歡迎來到另一世界”音樂會中圣母大教堂的內(nèi)部舞臺構(gòu)建

一旦確定了設(shè)計方向，團(tuán)隊就在選定的事件技術(shù)中進(jìn)行實驗，以了解在現(xiàn)場體驗中什么是可行的。

安東尼說：“我們選擇VRChat作為一個平臺，因為它是我們最熟悉的平臺，我們所有最大的項目都是用它完成的。它是最通用的社交VR技術(shù)之一，同時也讓我們使用了Unity，我們非常了解Unity的使用方法?！?/p>

圖中讓·米歇爾·雅爾彈著鍵盤站在圣母大教堂的虛擬舞臺中央，周圍被火焰效果所環(huán)繞

模擬場景

團(tuán)隊開始使用他們在網(wǎng)上找到的圣母大教堂模型在Unity中組裝場景。他們與意大利設(shè)計公司（MID）的Lapo Germasi和Victor Pukhov合作，對其進(jìn)行簡化和優(yōu)化，以便在VRChat中使用。

創(chuàng)建動畫

文森特·馬森（Vincent Masson）使用4D電影院制作的場景可以讓觀眾在他們周圍看到3D動畫，而約翰·莫蘭迪（Jvan Morandi）則致力于聚光燈動畫。兩人都參與了投射在大教堂墻上的2D視頻貼圖繪制。

圖中虛擬舞者在“歡迎來到另一個世界”音樂會中的圣母大教堂中翩翩起舞

虛擬替身設(shè)計

團(tuán)隊使用Maya創(chuàng)建了一個美輪美奐的讓·米歇爾·雅爾。安東尼的虛擬替身，這并不容易，因為藝術(shù)家的公眾形象非常重要，所以他們必須平衡創(chuàng)造一個既能吸引觀眾又能代表JMJ知名風(fēng)格的化身。

創(chuàng)建虛擬資產(chǎn)

“自從我們使用Unity以來，我們對Unity的所有功能都非常了解，如：3D動畫、虛擬化身、聚光燈、聚光燈下的對象、mp4視頻，以及用適當(dāng)?shù)腢V投射在大教堂的墻上等?！卑矕|尼說。

令人愉悅的藍(lán)色燈光打在圣母大教堂側(cè)面的墻上

動作跟蹤

虛擬替身是使用讓·米歇爾·雅爾身體的真實動作制作的實時動畫。與SteamVR兼容的mocap套裝以及跟蹤手套能夠確保其身體動作的準(zhǔn)確性，以再現(xiàn)他演奏電子樂器時復(fù)雜的手部動作。

圖片中讓·米歇爾·雅爾穿戴著與SteamVR兼容的動捕套裝來將自己的動作復(fù)制到虛擬世界中

場景組裝

當(dāng)所有的材料都準(zhǔn)備好了，團(tuán)隊就開始著手于在Unity中組裝它們了，他們開始打磨一切細(xì)節(jié)，并加以優(yōu)化，以在VRChat中擁有良好的表現(xiàn)。讓·米歇爾·雅爾在虛擬現(xiàn)實中進(jìn)入搭建好的場景，并開始精湛的表演。日耳曼西（Germasi）使用Unity的后期處理效果對場景進(jìn)行了最后的拋光，以平衡大教堂的逼真度和內(nèi)部的視覺效果。

動畫自動化

為了確保場景中的所有元素（視頻投影、彩色聚光燈、道具）都能與節(jié)目中每首歌的節(jié)拍同步，安東尼使用Unity來計時并觸發(fā)每一個動作?！皬?fù)制時間碼并對它們觸發(fā)的每個事件進(jìn)行編程是一項乏味的任務(wù)。但是在Unity中，我能夠創(chuàng)建腳本來處理它。有了編輯器腳本，我可以讀取動畫和燈光觸發(fā)器的所有時間碼的大量CSV，并通過選擇編輯器中的菜單，動態(tài)創(chuàng)建每首歌曲所需的行為。這使得我們的動畫更加容易控制?！卑矕|尼說到。

在“歡迎來的另一個世界”音樂會中所有歌曲所需特效表現(xiàn)的Unity編輯器截圖

面向社交虛擬現(xiàn)實的優(yōu)化

根據(jù)安東尼的說法，VRChat不僅要求流暢的幀速率（“你一定不想讓人們以20 fps的速度觀看音樂會。”他說），還要求對文件大小進(jìn)行優(yōu)化?！叭绻w場景重量超過300 Mb，你的用戶會花太多時間下載，有時候這會導(dǎo)致他們死機(jī)，這樣我們的觀眾就不會有良好的體驗?！盡ID的團(tuán)隊專注于優(yōu)化大教堂的幾何形狀，并對貼圖紋理的大小進(jìn)行全面優(yōu)化。

添加交互功能

安東尼與來自MID的Lapo Germasi和Victor Pukhov密切合作，對整個過程進(jìn)行了優(yōu)化，并添加了虛擬系統(tǒng)和交互系統(tǒng)，以模擬現(xiàn)場的沉浸式活動。

所有的臨時化策略：聚光燈、視頻映射和所有的動作都應(yīng)在正確的時間點被觸發(fā)，并與歌曲同步，這需要在VRChat內(nèi)部加入一些具有創(chuàng)造性的解決方案。

互動：互動是用戶參與的必要條件，尤其是在社交平臺上。此外，為了增強(qiáng)虛擬現(xiàn)實中的存在感，團(tuán)隊添加了一些觀眾在觀看音樂會時可以激活的效果，例如為一些其他觀眾添加一些不一樣的色彩效果。

拍攝視頻所需的所有元素：因為這是一次360度的體驗，所以團(tuán)隊不想從單一角度提供平面視頻。安東尼說:“我們實際上在VRChat內(nèi)部創(chuàng)建了一個復(fù)雜的攝像頭系統(tǒng)，這樣格奧爾基·莫洛托夫（Georgy Molodotsov）和莫德·克拉維爾（Maud Clavier）也可以切換到音樂會的“多攝像頭”版本進(jìn)行直播。他們使用了一個開源項目來初始化相機(jī)系統(tǒng)，VRCLens為手動拍攝的照片添加了景深效果，VoxelKei制作的360度錄像機(jī)頭像能夠用來拍攝全景視頻。

音樂會結(jié)束后的虛擬體驗是由俄羅斯XR藝術(shù)家丹尼斯·塞米諾夫（Denis Semionov）設(shè)計的，他用Quill塑造了場景，并開發(fā)了一個簡化版本的圣母大教堂模型，以確保圣母大教堂在遠(yuǎn)景中的呈現(xiàn)。

音樂會后的視覺效果是由MID負(fù)責(zé)優(yōu)化的；安東尼和團(tuán)隊增加了音樂會后的互動（例如，登上齊柏林飛艇進(jìn)行飛行)。

屏幕截圖左邊是現(xiàn)場活動的圖片，右邊是Unity Editor視圖，顯示了聚光燈、視頻映射和所有動作是如何在Unity中觸發(fā)的

虛擬現(xiàn)實的重要性

曾經(jīng)有一段時間，在設(shè)計階段，有人質(zhì)疑他們是否真的應(yīng)該放棄VR體驗，把整個節(jié)目做成一個線性的直播流視頻。但是讓·米歇爾和安東尼以及其他團(tuán)隊成員都認(rèn)為它應(yīng)該出現(xiàn)在虛擬現(xiàn)實中。這種互動體驗，即使只是在電腦屏幕上觀看，也會讓人覺得自己真的在圣母大教堂里面，在除夕夜被其他人所包圍。

最終，該項目積累獲得了超過7500萬次的瀏覽量，在大型實時虛擬現(xiàn)實體驗中以及許多其他流媒體視頻體驗平臺上創(chuàng)造了新的記錄。安東尼說:“我們創(chuàng)造了歷史，完全在虛擬現(xiàn)實中舉辦了一場大型音樂會，事實證明，只要你愿意冒險去做，你就能做出不可思議的事情。”

想要了解更多關(guān)于Unity的全新消息與應(yīng)用案例，請繼續(xù)關(guān)注我們的賬號。我們會在第一時間快速整理有關(guān)Unity的全新動態(tài)。歡迎大家關(guān)注轉(zhuǎn)發(fā)~