The Jim Henson Company提供表演驅(qū)動(dòng)的家庭娛樂節(jié)目已有60多年，期間贏得了數(shù)十個(gè)獎(jiǎng)項(xiàng)——包括50多項(xiàng)艾美獎(jiǎng)和9項(xiàng)格萊美獎(jiǎng)。這家公司以原創(chuàng)布偶電影聞名于世，是公認(rèn)的創(chuàng)新高手，善于使用從傳統(tǒng)提線木偶到電動(dòng)木偶和實(shí)時(shí)數(shù)字動(dòng)畫的各種領(lǐng)先業(yè)界的工具和技術(shù)。在其不計(jì)其數(shù)的作品中包括了一些特別令人難忘的大制作，例如《布偶奇遇記（Fraggle Rock）》、《黑暗水晶（The Dark Crystal）》、《迷宮（Labyrinth）》和《遙遠(yuǎn)星際（Farscape）》。

公司董事長(zhǎng)Brian Henson是創(chuàng)始人Jim Henson之子，他渴望延續(xù)這種創(chuàng)新文化。可證明這一點(diǎn)的是，數(shù)十年來他一直在積極采用各種形式的虛擬制片。如今他正用系列節(jié)目《奈德撞地球（Earth to Ned）》來開辟新天地，他將這個(gè)節(jié)目的形式描述為“外星科幻片遇上美式脫口秀”。

《奈德撞地球》正在迪士尼+播出，它結(jié)合了實(shí)景拍攝、電動(dòng)木偶和實(shí)時(shí)現(xiàn)場(chǎng)表演驅(qū)動(dòng)CG動(dòng)畫。這個(gè)節(jié)目的設(shè)定是，被派來侵略地球的外星人迷上了流行文化，于是決定制作一個(gè)采訪地球名人的脫口秀節(jié)目。

現(xiàn)實(shí)中的名人嘉賓受邀參加節(jié)目，而主持人是電動(dòng)木偶外星人奈德和科尼利厄斯，還有一個(gè)名叫貝蒂的CG人工智能，是現(xiàn)場(chǎng)在虛幻引擎中實(shí)時(shí)渲染的基于粒子的實(shí)體。

用表演來驅(qū)動(dòng)CG數(shù)字動(dòng)畫角色的創(chuàng)意最初是Jim Henson本人提出的，不過是在1994年才付諸實(shí)施的，當(dāng)時(shí)這家公司的家庭諷刺情景喜劇系列《恐龍（Dinosaurs）》正進(jìn)入制作尾聲。這個(gè)節(jié)目是使用帶有數(shù)十個(gè)電動(dòng)機(jī)的巨大電動(dòng)木偶服創(chuàng)作的——穿在演員身上又熱又不舒服，而且很容易發(fā)生故障。

“我們就開始想，要是能做CG動(dòng)畫就好了，我們還是可以讓演員來表演恐龍的肢體動(dòng)作，但是他們不必穿上這些大號(hào)戲服。”Henson說，“假如我們不必使用可能發(fā)生故障的45個(gè)電動(dòng)機(jī)來表演頭部的戲份，卻還能表現(xiàn)出同樣的活力，那該有多好。”

為了促成這個(gè)在當(dāng)時(shí)堪稱石破天驚的概念，他們需要開發(fā)一套能夠?yàn)檠輪T提供實(shí)時(shí)反饋的系統(tǒng)。

“我們可不喜歡跑到動(dòng)作捕捉的片場(chǎng)，讓演員假裝自己是恐龍表演一番，然后等上一個(gè)星期來看他作為恐龍的表演效果——那種辦法行不通。”Henson解釋說，“所以我們必須能夠在周圍的屏幕上即時(shí)看到我們作為恐龍的表演效果。”

雖然他們當(dāng)時(shí)創(chuàng)造的專有系統(tǒng)經(jīng)受了時(shí)間考驗(yàn)——他們至今仍在使用它——但是它提供的視覺效果質(zhì)量不足，不能讓他們直接使用輸出；所有的效果還是需要離線渲染。

“它是為視效預(yù)覽構(gòu)建的。”Dan Ortega說，他在公司擔(dān)任數(shù)字創(chuàng)意主管，“它并沒有真正具備做出任何實(shí)時(shí)效果乃至高分辨率圖像的能力。它的設(shè)計(jì)就是如此。我們用來構(gòu)建它的工具只是允許我們捕獲數(shù)據(jù)，然后放入后期制作管線。”

對(duì)于《奈德撞地球》，公司的計(jì)劃是在片場(chǎng)以最終廣播的質(zhì)量實(shí)時(shí)渲染貝蒂，這就意味著現(xiàn)有系統(tǒng)無法勝任。不僅如此，對(duì)于貝蒂的角色，他們還需要滿足一些很特別的要求。Henson希望她看起來是由電流組成的，而且能夠在人類外表和外星面孔之間變換。

接受了這些苛刻要求的人就是Ortega。“他【Henson】把它形容為一個(gè)能量球，和磁暴線圈差不多，但又不是線圈，因?yàn)樗仨毷怯闪Ｗ咏M成的。”他說，“必須有把它和房間相連的閃電。他還要求它變化成一張正在說話的面孔。”

Ortega立刻明白，自己需要使用虛幻引擎來實(shí)現(xiàn)這些實(shí)時(shí)效果。

“借助虛幻，我們可以使用我們獲獎(jiǎng)的木偶控件在一個(gè)虛擬場(chǎng)景中進(jìn)行交互，它具有令人驚嘆的畫質(zhì)，很高的幀率，沒有任何延遲。”他說，“虛幻給我們提供了所有需要的復(fù)雜材質(zhì)、粒子和效果，我們通過這個(gè)引擎可以實(shí)時(shí)進(jìn)行表演和生成動(dòng)畫。”

為了讓貝蒂看起來就像親臨現(xiàn)場(chǎng)，他們計(jì)劃通過在片場(chǎng)放置的屏幕創(chuàng)造出可以供她飄浮的“空間”。通過實(shí)時(shí)跟蹤所有攝像機(jī)，可以生成正確的視差，從而制造出屏幕后面有體積存在的假象。

“另一個(gè)挑戰(zhàn)是，Brian要求這張面孔在片場(chǎng)的三個(gè)不同房間之間傳送，而且這一切必須在攝像機(jī)中實(shí)時(shí)發(fā)生，不需要后期制作；”O(jiān)rtega說，“我們開完那次會(huì)議后，我的腦子里就在想，‘好吧，這是我們從來沒做過的事。我從沒見過像這樣的東西。’”

既然選擇了虛幻引擎作為渲染引擎，Ortega就需要將它集成到公司的現(xiàn)有管線中，該管線包括Autodesk Maya（用來進(jìn)行角色的骨架綁定）和Henson Digital Puppetry Studio，后者是他們專有的一套硬件和軟件工具，其中包括表演捕捉系統(tǒng)以及機(jī)械式木偶控制裝置。

為了實(shí)現(xiàn)這個(gè)目標(biāo)，Ortega的團(tuán)隊(duì)創(chuàng)建了Henson Nodeflow引擎，這是一種在不同系統(tǒng)之間充當(dāng)網(wǎng)關(guān)的專有實(shí)時(shí)獨(dú)立動(dòng)畫引擎。

他們把Maya場(chǎng)景導(dǎo)出到Nodeflow圖表，這種圖表模仿了Maya依賴性圖表，通過仿效Maya節(jié)點(diǎn)功能（包括關(guān)節(jié)、約束、曲線、Blendshape和Set Driven Key等更復(fù)雜的功能）來運(yùn)行導(dǎo)入的角色。然后Nodeflow將這些數(shù)據(jù)傳遞到虛幻引擎。以貝蒂為例，每幀要將4000個(gè)節(jié)點(diǎn)發(fā)送到虛幻引擎，用時(shí)1.5毫秒。

為了實(shí)現(xiàn)角色的實(shí)時(shí)骨架動(dòng)畫，團(tuán)隊(duì)創(chuàng)建了一個(gè)自定義流送應(yīng)用程序，通過Live Link（虛幻引擎用于流送和使用來自外部源的動(dòng)畫數(shù)據(jù)的接口）將輸出從Henson Digital Puppetry Studio發(fā)送到虛幻引擎。

Ortega的團(tuán)隊(duì)還將這種連接結(jié)合虛幻引擎的可視化腳本語言藍(lán)圖使用，使操偶師能夠觸發(fā)各種實(shí)時(shí)效果，例如閃電、面部變化和在房間之間的傳送。

大約有十幾個(gè)藍(lán)圖參數(shù)與在Henson Performance Control System中程控的角色屬性關(guān)聯(lián)。這使得表演者能夠使用曾榮獲奧斯卡獎(jiǎng)項(xiàng)的操偶師界面，通過手部控制、踏板和滑塊等輸入來調(diào)節(jié)亮度、頻率和效果縮放等項(xiàng)目。

由于以上的種種努力，貝蒂能夠與嘉賓進(jìn)行互動(dòng)，讓那些名人也喜出望外。

“當(dāng)嘉賓們來到現(xiàn)場(chǎng)，然后意識(shí)到，‘哦，她真的會(huì)在那里，’他們都興奮極了，我想這是因?yàn)榇蠹叶家詾槟菍⑹呛笃谔匦А！盚enson說，“對(duì)于來到片場(chǎng)的嘉賓，那種假象是完美的。他們看不到任何操偶師。他們只會(huì)看到奈德，看到科尼利厄斯，并看到貝蒂。當(dāng)這一切發(fā)生的時(shí)候，那真是神奇。”

在《奈德撞地球》使用實(shí)時(shí)最終像素渲染所取得的成功使團(tuán)隊(duì)渴望了解自己能夠在多大程度上推進(jìn)這一概念，他們已經(jīng)在進(jìn)行更多試驗(yàn)。

“如果我們能夠開始交付全CG動(dòng)畫的電視節(jié)目，而且其中不需要后期制作的鏡頭所占比例越來越高，那么很明顯，制片效率將會(huì)突飛猛進(jìn)。”Henson說，“而有了虛幻，我們就可以得到質(zhì)量比以前高得多的圖像，成品圖像。我們可以實(shí)時(shí)獲得成品圖像。如果沒有虛幻，我們是做不到這一點(diǎn)的。我們嘗試過。我們?cè)缇驮囘^了。”

“通過與虛幻聯(lián)手，我們可以在實(shí)景拍攝的片場(chǎng)中制作出成品CG動(dòng)畫，然后進(jìn)入剪輯環(huán)節(jié)，就像實(shí)景拍攝一樣完成制作。”Henson說，“這可是非常激動(dòng)人心的。”

本文轉(zhuǎn)自虛幻引擎官網(wǎng)~