柳夜熙，是如何被創(chuàng)造出來的？
12月12日，被上千萬網(wǎng)友催更的“美妝博主”柳夜熙，在抖音更新了一條視頻。
一條狹窄幽暗的街道，柳夜熙手撐一把油脂傘，走進(jìn)一家店鋪。電視機(jī)中出現(xiàn)一則8歲小女孩的“尋人啟事”。
“怎么最近都是你在店里，你姐去哪了？”柳夜熙問。
“我姐啊……她出去了?！卑⒁华q豫片刻后，回答道。
畫面一轉(zhuǎn)，阿一姐姐出現(xiàn)，在看到柳夜熙后她轉(zhuǎn)身跑進(jìn)一個(gè)充滿電子設(shè)備的昏暗廠房，這里雜線鋪滿地面，無數(shù)個(gè)電腦屏幕上閃動(dòng)著正在傳輸數(shù)據(jù)的大腦圖形，8歲的小女孩正躺在床上，頭上戴著儀器。
“你連孩子都不放過”，柳夜熙拿出手中的魔法筆，準(zhǔn)備動(dòng)手，阿一阻止，隨后柳夜熙為他畫上了看不見的眼影，姐姐現(xiàn)出原形，柳夜熙“收妖”成功，姐姐和她的女兒得救。
“柳夜熙，這……只是個(gè)開始?！眲∏榻Y(jié)束。
盡管只有4分鐘，但敘事流暢，畫面感真實(shí)，充滿了賽博朋克的味道和電影質(zhì)感。
評(píng)論區(qū)，有人稱贊“我竟然在抖音！看電影?。。 ?“白嫖這么高級(jí)制作有點(diǎn)不好意思”，還有人評(píng)論“元宇宙今天又漲了”。
值得注意的是，視頻的下面，除了時(shí)下最火熱的“元宇宙”，還打上了“腦機(jī)接口”的標(biāo)簽。
截至目前，有關(guān)“柳夜熙” “柳夜熙是誰” “終于等到柳夜熙更新” “柳夜熙特效”等相關(guān)話題在抖音上已有超過7.6億次播放，都在挖掘和創(chuàng)作這個(gè)被抖音稱為“中國第一個(gè)元宇宙博主”虛擬偶像背后的故事。
一夜之間，蹭上元宇宙快車的虛擬偶像，再次翻紅了。
事實(shí)上，虛擬偶像并不是全新概念。從洛天依帶貨直播，到愛奇藝打造虛擬人物才藝競(jìng)演節(jié)目《跨次元新星》……虛擬人物的出現(xiàn)，不僅為“Z世代”帶來新鮮的互動(dòng)體驗(yàn)，也給藝術(shù)家的創(chuàng)作過程注入新靈感。
但也有觀點(diǎn)認(rèn)為，柳夜熙在技術(shù)上并沒有任何突破，之所以一夜爆紅，是迎合了市場(chǎng)對(duì)于元宇宙概念的狂熱情緒，屬于新瓶裝舊酒。
柳葉熙帶來的討論，和對(duì)元宇宙的認(rèn)知延展。不少觀點(diǎn)已經(jīng)從運(yùn)營角度講清楚了，本文則試著從技術(shù)角度，還原柳葉熙的技術(shù)背景。
讀完本文，你將了解：
1.她是如何被創(chuàng)造出來的
2.柳夜熙背后的虛擬人技術(shù)演進(jìn)
3.虛擬人成型之后，如何進(jìn)入元宇宙
虛擬人起源于日本動(dòng)漫的角色發(fā)展，最早的虛擬偶像鼻祖要算2007年出現(xiàn)的“初音未來”。作為一個(gè)以語音合成引擎為基礎(chǔ)設(shè)計(jì)的音源庫，初音未來能唱無數(shù)首歌曲，和ladygaga同過臺(tái)。
虛擬人中，二次元形象居多。如登上21年春晚的“洛天依”， B站網(wǎng)紅“yoyo鹿鳴”，抖音爆紅的“小狐貍NINICO”，屈臣氏代言人“屈臣曦”，都屬于這一類，并且借助次元流量，都已成為熱門IP，通過代言、商演、直播等成功變現(xiàn)。
2019年，嗶哩嗶哩甚至專門為二次元虛擬偶像舉辦了一場(chǎng)名為Bilibili Macro的線上演唱會(huì)。初音未來、洛天依以及作為虛擬主播的Kizuna AI、白上吹雪等在演唱會(huì)的舞臺(tái)上出現(xiàn)，瞬間引起轟動(dòng)。
由于技術(shù)限制，超仿真虛擬人目前角色不多，大多以靜態(tài)圖片或者幾秒短視頻的形式出道。柳夜熙也僅僅128秒。
如走時(shí)尚路線的虛擬人物“翎”，外貌東方，身材出眾，熱愛國風(fēng)，善京劇。這類有個(gè)性的虛擬KOL，一方面具有新事物的流量熱度，一方面容易吸引大量次時(shí)代消費(fèi)者關(guān)注，且不會(huì)有真實(shí)偶像的塌臺(tái)風(fēng)險(xiǎn)，成為廣告商的新寵。2020年5月出道，目前已簽下多家大牌合作。
柳夜熙是開創(chuàng)性的角色，她實(shí)現(xiàn)了仿真虛擬人在短視頻上的首次嘗試。按照主辦方的說法，這是一個(gè)2.5次元的形象設(shè)計(jì)，處于二次元?jiǎng)勇蜗蠛腿卧恼鎸?shí)世界人物形象之間的位置。
這類“超仿真”形象的后期開發(fā)過程非常漫長——1.高精度原畫設(shè)計(jì)；2.高寫實(shí)3D建模；3.導(dǎo)入高水準(zhǔn)的虛擬人引擎；4.高精度動(dòng)捕；5.高精致的修幀渲染。每個(gè)步驟都耗時(shí)耗力，不懂行的人很難做好。
首先是3D建模，要做到高寫實(shí)，除了皮膚，毛發(fā)的細(xì)節(jié)精細(xì)還原之外，難點(diǎn)在于如何做到表情自然，說話口型不失真。相較于原理相似的語音合成技術(shù)，將聲音、口型、表情匹配適宜要難得多，很容易造成“僵硬木訥”的觀感。
純動(dòng)畫的特效設(shè)計(jì)成本高昂，所以，每個(gè)虛擬人的背后其實(shí)都有一個(gè)實(shí)時(shí)驅(qū)動(dòng)的真人，這群動(dòng)態(tài)捕捉演員和配音演員都稱為“中之人” （驅(qū)動(dòng)著虛擬形象的真人） ，將他們的言行嫁接到角色身上，是最常見的操作。
行動(dòng)演員的動(dòng)捕服里包含多個(gè)傳感器節(jié)點(diǎn)，用于采集運(yùn)動(dòng)動(dòng)作，手套里也會(huì)有十多個(gè)節(jié)點(diǎn)，用于采集手部關(guān)節(jié)動(dòng)作。高精度的動(dòng)態(tài)捕捉，一方面依靠背后中之人的表演技巧，另一方面要求技術(shù)能夠?qū)⒅兄说谋硌萦行Р蹲?。柳夜熙的連貫動(dòng)作也和背后演員分不開。
比如，為《泰坦尼克號(hào)》《頭號(hào)玩家》等提供過特效支持的公司--數(shù)字王國打造的教育路線的高仿真虛擬人“小艾”就是高精度動(dòng)捕的作品。
“小艾”的制作以Momentum為核心技術(shù)，面部表情上運(yùn)用了超高精度的眼球追蹤，甚至可以捕捉到演員的眼球震顫；在頭發(fā)處理上，能根據(jù)演員不同動(dòng)作幅度，進(jìn)行重力計(jì)算，同步擺動(dòng)，逼近真實(shí)效果。
最后的渲染是所有動(dòng)畫設(shè)計(jì)不能繞過的重要一環(huán)，最終成品到底幾分逼真，都靠這個(gè)過程的修飾，也是眾所周知的耗時(shí)。
2019的科幻冒險(xiǎn)電影《阿麗塔：戰(zhàn)斗天使》，由《阿凡達(dá)》《泰坦尼克號(hào)》的導(dǎo)演卡梅隆操刀，講述26世紀(jì)一個(gè)擁有機(jī)械手臂少女的戰(zhàn)斗故事。為了效果逼真，后期渲染4.32億小時(shí)，一度成為當(dāng)時(shí)的熱點(diǎn)新聞。
三萬臺(tái)電腦，800名技術(shù)人員同時(shí)工作，因?yàn)殡娔X高負(fù)荷運(yùn)轉(zhuǎn)發(fā)燙，甚至低溫時(shí)能看見工作室有熱氣往外冒。
越是要求逼真，渲染過程要求越高。
僅僅完成一個(gè)128秒柳夜熙就需要涉及到這些復(fù)雜的技術(shù)。從本質(zhì)上講，她是一個(gè)出色的后期特效作品，就像視頻下有一個(gè)7.7萬贊的熱評(píng)“不買票就能看電影了”。
不可否認(rèn)的是，柳夜熙暫時(shí)不能和觀眾互動(dòng)，屬于劇中角色，類似于游戲中的NPC。而另外一種能夠和觀眾互動(dòng)，能實(shí)時(shí)反饋的虛擬人也在研究之中。
齊耳超短發(fā)，碎劉海，高鼻梁，若隱若現(xiàn)的幾點(diǎn)雀斑，一張大氣的“國際臉”加上177的身高，模特形象呼之欲出。
她就是博采傳媒設(shè)計(jì)的超寫實(shí)虛擬人--20歲的馬當(dāng)颯颯，英文名Madam-ZAZA。當(dāng)你和她四目相對(duì)，你可能會(huì)覺得這位20歲的女孩就是真實(shí)的。
更驚喜的是，這是一個(gè)能夠獨(dú)立思考的虛擬人。比如可以和現(xiàn)場(chǎng)觀眾實(shí)時(shí)筆心，給受眾帶來全新的沉浸式互動(dòng)體驗(yàn)。
馬當(dāng)颯颯正如電影《Her》中的薩曼莎，都是帶有自我意識(shí)的虛擬角色，能與人類產(chǎn)生情感交互。 颯颯背后由AI驅(qū)動(dòng)，所以自帶靈魂，而柳夜熙背后由“中之人”驅(qū)動(dòng)，沒有“中之人”的時(shí)候，只是一個(gè)靜止的軀殼，這就是兩者的區(qū)別。
要讓虛擬人能夠像真人一樣兼具IQ和EQ，進(jìn)行有邏輯、有個(gè)性的交互和反饋，目前的技術(shù)還在探索中。
為了給颯颯“長腦子”，博采傳媒采用的是自主研發(fā)的超寫實(shí)引擎與實(shí)時(shí)互動(dòng)算法，由于技術(shù)的限制，她的“栩栩如生”也才展現(xiàn)一個(gè)小角，進(jìn)一步的互動(dòng)也在開發(fā)中。
除了背后驅(qū)動(dòng)，兩類人物在效果實(shí)現(xiàn)上也有區(qū)別。柳夜熙這類制作完成再發(fā)表的虛擬人，用的都是離線渲染技術(shù)，能夠?yàn)榱俗非蟾呔炔挥?jì)時(shí)間成本，多用在電影的后期特效上。
若要像馬當(dāng)颯颯一樣實(shí)時(shí)互動(dòng)，也需要實(shí)時(shí)渲染，大量數(shù)據(jù)表明，延時(shí)控制在100ms以內(nèi)，觀眾才能感受到聲畫同步。一般這種技術(shù)多用在游戲上，對(duì)設(shè)備要求高。
相對(duì)游戲，超仿真虛擬人對(duì)應(yīng)的身體動(dòng)畫、表情動(dòng)畫、毛發(fā)模擬、布料解算、燈光反射模擬等一系列計(jì)算渲染需要更加強(qiáng)大的算力支持。技術(shù)尚在發(fā)展中，暫未有理想的角色面世，多停留在設(shè)想階段。
如三星旗下Star Labs實(shí)驗(yàn)室在2020年CES上帶來了此類智能“虛擬人”項(xiàng)目設(shè)想—Neon。
在STAR Labs的設(shè)定中，Neon外形酷似人類，主要出現(xiàn)在各類職場(chǎng)中。同時(shí)利用AI，在和人類的溝通交流中不斷學(xué)習(xí)，持續(xù)完善角色的智能性。
清華大學(xué)的虛擬學(xué)生“華智冰”也是類似的例子。
據(jù)澎湃新聞，華智冰不僅會(huì)四種舞姿，可以根據(jù)音樂的急緩調(diào)整動(dòng)作，還可以根據(jù)某個(gè)字作詩，并可以根據(jù)某幾個(gè)關(guān)鍵詞創(chuàng)作一幅畫，甚至可以寫一些短文章。
研究團(tuán)隊(duì)目前對(duì)“華智冰”的學(xué)習(xí)規(guī)劃和Neon類似，都是先進(jìn)行大量數(shù)據(jù)包的輸入錄入基礎(chǔ)信息，然后通過AI進(jìn)行自主學(xué)習(xí)，能自己生存。
雖然，“華智冰”陷入一系列“AI換臉”的輿論風(fēng)波，但這種設(shè)計(jì)初衷是很好的。
這類離開了“中之人”，能夠獨(dú)立思考的虛擬人靠AI技術(shù)驅(qū)動(dòng)，他們能夠理解人類的言行舉止，同時(shí)做出適當(dāng)?shù)姆答仭?/p>
這類角色可以擔(dān)任元宇宙時(shí)代中人機(jī)交互的接口，相當(dāng)于互聯(lián)網(wǎng)時(shí)代的APP的功能。
元宇宙中都是虛擬人
上述兩種虛擬人角色，無論是“中之人”操控還是AI操控，都有他們的用武之地。
目前的個(gè)人虛擬人角色還只有少數(shù)明星擁有，比如：黃子韜、迪麗熱巴、張藝興等，這些也是具有商業(yè)價(jià)值的二次元角色。隨著技術(shù)發(fā)展，會(huì)越來越普及。
元宇宙是和現(xiàn)實(shí)世界平行的存在，現(xiàn)實(shí)世界里長什么樣子，元宇宙就會(huì)是什么樣子。在這個(gè)世界中，每個(gè)人都會(huì)有屬于自己的“虛擬人”。像《頭號(hào)玩家》中展現(xiàn)的一樣，個(gè)人穿上穿戴設(shè)備后，成為自己角色的“中之人”，進(jìn)入元宇宙的世界。
至于AI操控的智能虛擬人，也能應(yīng)用在元宇宙的許多人工服務(wù)領(lǐng)域。比如商場(chǎng)售貨員，博物館講解員等重復(fù)性工種崗位，虛擬人可以比人類做得更加出色，而且永遠(yuǎn)不會(huì)抱怨，不會(huì)疲倦。人類則可以從重復(fù)勞動(dòng)中解放出來，享受生活。
當(dāng)下的大多數(shù)游戲，角色設(shè)定都是二次元風(fēng)格，和真人還是有很大區(qū)別，沉浸感有所欠缺。元宇宙結(jié)合超仿真虛擬人，將角色外形設(shè)定為個(gè)人現(xiàn)實(shí)中的實(shí)際長相，或者自己的理想長相，都會(huì)提升角色的沉浸感，拉近和現(xiàn)實(shí)世界的距離。
如果我們現(xiàn)在想要在游戲中創(chuàng)建一個(gè)理想的角色形象，大多通過“捏臉”，本質(zhì)是3D建模。
比如美國的捏臉平臺(tái)--Genies，是基于AI的虛擬形象設(shè)計(jì)平臺(tái)。用戶可以根據(jù)喜好設(shè)計(jì)自己的頭部形象，整體角色呈現(xiàn)頭大身體小的戲劇效果。
但這種操作有門檻，耗時(shí)長，并且常常捏完之后發(fā)現(xiàn)不像自己。就此衍生出了“游戲捏臉師”的行業(yè)，“兼職游戲捏臉師月入上萬”的話題甚至在前段時(shí)間上過熱搜。
據(jù)后浪研究所，一位95后廣東游戲捏臉師表示，游戲捏臉數(shù)據(jù)需求量大，普通原創(chuàng)作者月入上萬，優(yōu)秀的創(chuàng)作者一個(gè)月能賺6-7萬。
字節(jié)跳動(dòng)也在今年9月上線了一款捏臉APP—“Pixsoul”。
虛擬人成型之后，如何進(jìn)入元宇宙，操作虛擬人，要從穿戴設(shè)備開始。
目前已經(jīng)有了一種可以算為元宇宙先導(dǎo)體驗(yàn)的產(chǎn)品--協(xié)同辦公的虛擬會(huì)議室。如Facebook打造的VR工作平臺(tái)Horizon Workrooms就是一個(gè)很好的例子。
先用VR設(shè)備掃描現(xiàn)實(shí)辦公桌面，連上電腦，帶好頭戴眼鏡。眼前會(huì)出現(xiàn)一個(gè)虛擬空間，鍵盤和電腦會(huì)和現(xiàn)實(shí)位置一樣，且電腦屏幕上的內(nèi)容已完全和現(xiàn)實(shí)同步。所有的與會(huì)同事，彼此之間在現(xiàn)實(shí)中或許相距很遠(yuǎn)，通過vr都能聚在一起，每個(gè)人擁有一個(gè)二次元化身。還配上了手勢(shì)捕捉等功能，讓人物形象更加生動(dòng)。
但不少用戶反應(yīng)它的頭戴設(shè)備很沉重。
穿戴設(shè)備的突破是元宇宙繞不過的技術(shù)門檻，甚至有的人佩戴VR眼鏡會(huì)引起頭部3D眩暈癥等。針對(duì)這一問題，不少科技公司其實(shí)早已在探索的路上。
Micorsoft的HoloLens系列，整體設(shè)計(jì)簡單，在向輕便方向發(fā)展，也得到了市場(chǎng)的認(rèn)可。在今年4月的美國陸軍招標(biāo)中，微軟中標(biāo)，十年內(nèi)交付超過12萬副頭戴式AR設(shè)備，合同總價(jià)值可能高達(dá)218.8億美元，就是針對(duì)HoloLens系列的定制開發(fā)。
Facebook將上萬人力投入在了AR/VR業(yè)務(wù)上，擴(kuò)展半導(dǎo)體和腦機(jī)接口的一系列專利。
蘋果有計(jì)劃在2022年發(fā)布首款穿戴式頭顯設(shè)備，不同于FB，Apple專注是VR和AR一體的頭顯設(shè)備，AR眼鏡會(huì)和手機(jī)共存。
阿里也正在研究裸眼3D技術(shù)。即在不佩戴眼鏡的情況下也能看到3D效果。
短時(shí)間內(nèi)，柳夜熙火了，她的樣子是否就是未來元宇宙中普通人的樣子？隨著技術(shù)的發(fā)展，人物到底能多逼真，到底能多智能，這個(gè)問題還難以回答，但虛擬人作為元宇宙的角色基礎(chǔ)，它的重要性是毋庸置疑的。
本文來自微信公眾號(hào) “盒飯財(cái)經(jīng)”（ID：daxiongfan），作者：玉谷子，36氪經(jīng)授權(quán)發(fā)布。
