文 | 王毓嬋 編 | 張信宇
11 月 7 日，“進入外太空”將近 5 個月后，小諍傳回了她行走在火星表面的視頻。這條視頻展示了火星地表的景色和氣象變化，在 B 站獲得了 15 萬播放和 700 多條評論。
小諍的身份是“新華社數(shù)字記者”、“全球首位數(shù)字航天員”，她由新華社媒體融合生產(chǎn)技術與系統(tǒng)國家重點實驗室與騰訊互娛旗下 NExT Studios 聯(lián)合打造，首次亮相于 6 月 17 日神舟十二號載人飛船發(fā)射的當天。按照規(guī)劃，她未來會替代真人記者，完成在火星的新聞報道任務。
火星上的小諍
“這次火星之旅，是在多場景數(shù)字人資產(chǎn)運用取得了一定積累之后，面向下一階段——‘大規(guī)?？山换?shù)字場景’開展的關鍵嘗試。你可以說它面向全真互聯(lián)網(wǎng)的超級數(shù)字場景雛形?！盢ExT Studios 新技術研發(fā)中心副總監(jiān)葛誠說。
為小諍提供技術支持的 NExT Studios （官方稱作“騰訊互娛新體驗與技術部”）是一家騰訊互娛旗下的電子游戲開發(fā)商，于 2017 年 4 月在中國上海成立。NExT Studios在創(chuàng)作超寫實數(shù)字航天員之前，還發(fā)布過實時高保真數(shù)字人 Siren（塞壬）等。
NExT Studios 新技術研發(fā)中心副總監(jiān)葛誠參與了對小諍和塞壬等數(shù)字人的塑造工作，也見證了近兩年來該領域技術水平的提升——2017 年，為了創(chuàng)作塞壬，NExT Studios 花了四個跨國團隊將近一年的時間。而今年，小諍從無到有，只用了 NExT Studios 15 名工程師的 3 個月。
小諍
以下為 36 氪與葛誠的采訪實錄：
36氪：小諍在火星的這一期視頻是如何誕生的？Next Studios 做了哪些工作？
葛誠：這期高沉浸火星場景視頻主要圍繞小諍探秘火星展開，新華社負責總策劃、腳本分鏡設計以及人工智能語音合成等工作；NExT Studios 負責 3D 資產(chǎn)制作，場景搭建，特效仿真，音頻制作，渲染合成等。
36氪：你們 2017 年創(chuàng)作塞壬時投入了很大的時間和人力成本，今年創(chuàng)作小諍就快了很多，效率是怎么提升的？
葛誠：可以從兩個方面解釋：一是塞壬追求的是和真人一模一樣，而小諍是超寫實，即 Artist 以真人為基礎加以創(chuàng)作，所以她其實并不需要像某個真人，省去了不少 LookDev 的工程量；二是我們 2018 年做完塞壬之后，搭建了一條數(shù)字人制作管線 xFaceBuilder?。
從建模、綁定到動畫，這條管線貫穿了數(shù)字人最關鍵的人臉制作的流程。xFaceBuilder? 幫我們省下了很多時間，所以我們僅僅花了兩個半月，就為小諍做出了第一個視頻。
36氪：在新華社的 B 站視頻封面上寫著一行字“按任意鍵進入游戲”，這是什么意思？未來普通人能夠跟小諍有更多互動嗎？
B站視頻封面截圖
葛誠：高沉浸互動數(shù)字場景是個有魅力的方向，借助 AI 和實時圖形技術，我們希望能讓普通人也能和高沉浸的數(shù)字內容互動。
36氪：小諍此次傳回的行走在火星表面的視頻看起來比之前復雜得多，Next Studios 是如何完成場景制作的？
葛誠：這次是我們第一次使用 UE5 實時出片，主要探索的是大場景、海量高解析度模型在 UE5 中的極限表現(xiàn)。角色資產(chǎn)的制作流程上，我們還是依靠自研的 xFaceBuilder 和 xMoCap（基于光學動捕的動畫生產(chǎn)管線）兩套管線，場景制作我們引入了 Houdini 過程化資產(chǎn)生成（PCG）能力，加速了場景資產(chǎn)的生產(chǎn)效率。
這次整個場景和角色資產(chǎn)從無到有，用了不到 3 個月時間，而且大量資產(chǎn)是可復用的，可能會用于未來的實時互動場景。
36氪：xFaceBuilder 可以被應用在游戲開發(fā)中嗎？
葛誠：可以。我們本身就是希望這套流程既可以生產(chǎn)數(shù)字人，也可以生產(chǎn)游戲角色。實際上，騰訊已經(jīng)有項目開始使用 xFaceBuilder 完成了游戲角色的建模、綁定和動畫制作等工作。
36氪：未來 xFaceBuilder 有可能會被開放出來嗎？
葛誠：目前在騰訊內部它其實已經(jīng)是一個開放狀態(tài)了。但我們還需要打磨，因為它不僅要支持虛擬人，還要支持游戲角色，這個打磨的過程可能需要一兩年。
36氪：從技術角度來說，創(chuàng)造虛擬人的底層基礎設施已經(jīng)比較完善了。最近有不少虛擬人網(wǎng)紅出現(xiàn)，其中有些虛擬人甚至是只靠一個人的力量被創(chuàng)作出來的。未來創(chuàng)作和運營虛擬人會成為一件沒有技術門檻的事情嗎？
葛誠：整個虛擬人的制作分兩個階段，先是模型和綁定的制作，再是動畫制作。前一個階段相當于把模具做好，后一個階段相當于用模具來生產(chǎn)產(chǎn)品。
把靜態(tài)模型做到“好看”并不難。在電影 CG 行業(yè)，一些資深的模型師一個人就能調出非常好看、非常像真人的模型，吃的是模型師的手上功夫。更難的還是讓它動起來也很自然傳神，這就需要精細的動畫技術，比如：物理仿真，綁定，動捕。我們在電影里經(jīng)常能看到很像真人的CG角色，但讓它實時地動起來就很困難。
小諍的面部細節(jié)
其次是動畫制作。如果你想獲得非常寫實的畫面，就需要有比較好的動捕設備、算法流程、動畫TA、動畫師。所以要讓動畫做出足夠高的可信度也是一件很高成本的事。
今年四月，英偉達在發(fā)布會上展示了“虛擬黃仁勛”，但畫面僅有約 15 秒。有人問：既然他們大費周章做了數(shù)字人，為什么不把老黃的整個演講用虛擬畫面呈現(xiàn)出來呢？科技目前還沒有進步到可以非?？焖偾业统杀镜厣a(chǎn)出電影級的動畫。
當然，國內外很多 Researcher 和工程師都在為這個目標努力。比如 Epic 的 Metahuman 可以快速定制出高質量的角色，但是目前 Metahuman 有限的模板庫還是很難滿足模型師的創(chuàng)作需求。比如用 Metahuman 就很難捏出數(shù)字航天員小諍。
36氪：跨越恐怖谷（注：恐怖谷，由于機器人與人類相似，兩者的細微差別會顯得非常刺眼恐怖，使人有面對僵尸的感覺。）還是一個困難的工作嗎？
葛誠：實時互動的寫實向數(shù)字人，跨越恐怖谷依然是件很困難的工作，即便塞壬也就是剛跨過了恐怖谷的邊緣。專業(yè)人士仔細看，還是可以看出來她不像真人的地方。當數(shù)字人趨近恐怖谷邊緣時，普通人對數(shù)字人的恐懼感就趨向輕微。
36氪：小諍可以算是 NExT Studios 第一個投入實用場景的虛擬人，之前為什么沒有對塞壬進行商業(yè)化運營？虛擬人的商業(yè)化時機已經(jīng)成熟了嗎？
葛誠：我們小團隊在做前沿探索的時候，不會特別去考慮它的應用場景，因為這會限制探索的方向和深度。一旦確定某個方向具備了未來商業(yè)化的可能，我們會用 3-5 年的時間去打磨這條線上的技術。之前做塞壬和 Matt（NExT Studios 的另一個虛擬人）的時候，其實都沒有過于糾結商業(yè)化，但是接下來做的一些新角色，我們會優(yōu)先考慮跟商業(yè)化、運營相關的技術。
從 2017 年開始，國內已經(jīng)有不少企業(yè)加入了虛擬偶像賽道，這個賽道目前來看是紅紅火火，但實際上平均利潤率還是比較低的。大家并沒有找到特別好的方式可以讓一個角色像真人 IP 一樣運轉起來，這受限于技術、內容，更多的是商業(yè)模式還需要進一步探索。
但是我相信虛擬偶像產(chǎn)業(yè)目前還處在非常初級的階段。接下來一定會有一個世界，可能是Metaverse（元宇宙），來承載風格各異的虛擬偶像。在那個世界里，每位虛擬人都擁有自己的 ID，也許還會有建立在 NFT（非同質化代幣）上的交易。這樣虛擬人就能與真人、真實世界建立更完整的商業(yè)關系和情感紐帶。
現(xiàn)在各家單打獨斗做虛擬人，今天做個屏保，明天做個直播，后天帶個貨……從 IP 角度來說，其實尚未形成虛擬 IP 成長的最好土壤，也就是“如同真實世界的數(shù)字世界”。
36氪：目前來看，虛擬人還是被集中應用在了娛樂產(chǎn)業(yè)中。除了當偶像，虛擬人未來可能還會有什么樣的應用場景？
葛誠：未來虛擬人可能會成為人們遠程溝通的媒介，但它不是現(xiàn)有視頻聊天軟件的衍生品。因為當一個可信的虛擬世界徐徐展開的時候，虛擬 IP 不再是現(xiàn)實世界中的一個附加品，而是虛擬世界中“實實在在”的存在。兩個世界的界限也會漸漸打破。當下，最重要的是精進數(shù)字內容技術，在大眾間打造高可信度的社交紐帶。我們在朝著這個方向努力。
