?????????????????????【導(dǎo)讀】元宇宙這條路，又多了一個實力干將！近日，Unity斥資16.25億美元收購了《阿凡達》、《復(fù)聯(lián)4》背后的視覺特效公司W(wǎng)eta Digital。
還記得復(fù)仇者聯(lián)盟4最終大戰(zhàn)那個恢弘的場面嗎？
?又或是在阿凡達星球上的奇遇?
這些精彩的畫面，總是讓人非常好奇：如此嘆為觀止的震撼的視覺特效，究竟是出自誰之手呢？
答案揭曉！
這些經(jīng)典電影背后強大的渲染技術(shù)正是來自曾6次獲得奧斯卡最佳視覺效果獎，由著名導(dǎo)演Peter Jackson創(chuàng)建的Weta Digital（維塔數(shù)字）。
?
而就在11月9日，這家工作室被全球交互式實時3D（Real Time 3D，RT3D）內(nèi)容創(chuàng)作和運營平臺Unity出資16.25億美元收購。
根據(jù)公告的說法，本次收購是為了將 Weta Digital 的獨家視覺特效（VFX）工具集成到Unity平臺，為實現(xiàn)新一代3D創(chuàng)意內(nèi)容和塑造「元宇宙」的未來提供幫助。
那么就是說，未來Unity要在「元宇宙」這條路上大步流星。
要建立元宇宙，打造數(shù)字人類化身是最重要的核心難點之一。
但是，或許你無法想象，數(shù)字化身的逼真度目前已經(jīng)可以無限逼近人類。
下面這位真人小姐姐便是由 Unity 用時2個月打造。
她會嘟嘴賣萌，也會緊皺眉頭生氣，如果有了她你還需要再捏造二次元老婆么。
?前段時間，Unity技術(shù)開放日上揭秘了數(shù)字人的部分制作流程，主要分為兩個主題，一個是渲染，一個是流程。
上面這個虛擬小姐姐的制作用到的就是人臉掃描+FACS表情編碼技術(shù)來進行實時高清渲染。
虛擬人頭發(fā)渲染是通過機器掃描一位真人，之后再用Unity最近發(fā)布了全新的頭發(fā)系統(tǒng)進行渲染。
在設(shè)置中可以將不同的配置進行分組，每個配置文件都可以調(diào)細節(jié)。
Unity團隊介紹道，「關(guān)于數(shù)字人臉部動畫的制作，我們是用手機蘋果 ARKit 方法進行面部表情捕捉的?！?/p>
關(guān)于面部表情捕捉，這其實是另外一項技術(shù)，需要搭配蘋果手機并使用 Face Cap 軟件，面部表情捕捉可以提供更高精度和細節(jié)的面部表情。
通過使用 FBX 文件導(dǎo)件，可以用左邊的白模把動作移動到角色上。
?還有，數(shù)字人眼瞼的幾何形狀這一部分的制作并非易事。
由于在捕獲真人數(shù)據(jù)的過程中睫毛部分遮擋了眼瞼，數(shù)據(jù)難免存在噪音。
?結(jié)果就會導(dǎo)致眼瞼的幾何形狀不準(zhǔn)確，這意味著必須找到一種方法來重建這些區(qū)域的幾何形狀。
Unity 可以將這些數(shù)據(jù)輸入系統(tǒng)，并使用差分網(wǎng)格處理技術(shù)（Differential Mesh Processing tech）進行了特定區(qū)域的降噪和重建。
?
那么，Unity 如何通過技術(shù)來撫平皺紋？
面部圖像中的特征在輸入序列中就存在遺漏的表面細節(jié)，比如皺紋和毛孔的拉伸。
為了處理這些細致的表面細節(jié)，Unity 將導(dǎo)入序列的幾何圖形與來自 Snappers Systems 的混合形狀基于面部的特征映射結(jié)合起來。
前后額部皺紋貼合
眼鏡著色部分是 Unity 通過眼睛著色器有效地將眼睛模擬為兩層，其中第一層用于描述角膜和表面的液體，第二層用于描述鞏膜和虹膜，通過第一層可見。
照明在兩層之間被分開，鏡面照明是專門為頂層評估的，而漫射照明只是為底層評估的。
?包括淚線這么一個微小細節(jié)也不能放過。
就那下面兩個對比圖來說，左邊沒有淚線，右邊添加了淚線，并且進行了陰影處理，哪個更真實也就不言而喻。
添加淚線前后對結(jié)果
Unity介紹自己的數(shù)字人生產(chǎn)全量流程包括了：4D真人掃描，高精度面部建模等等。
可能以后甚至不需要真人演員，用數(shù)字人就可以拍出一線大片，也不用考慮會有緋聞、合同等各種問題。
對于Unity來說，其自身還有一套HDRP高清渲染管線，這是專為高端硬件上的高畫質(zhì)渲染量身定制的工具，可以充分挖掘PC和主機的全部視覺保真度。
可以看到，用Unity HDRP可以打造出影視大片級的畫面。
Unity的渲染能力已經(jīng)可以傲視群雄了。
而這次收購更是強強聯(lián)合，Unity將Weta Digital的技術(shù)整合到自己的平臺后，或許未來我們會在更多的游戲和元宇宙場景中看到這兩家公司帶來的呈現(xiàn)效果。
那么，Weta Digital 能夠為Unity帶來什么樣的技術(shù)呢？
Weta Digital成立于1993年，成立多年來一直是視覺特效（VFX）設(shè)計領(lǐng)域的前沿創(chuàng)新者之一。
截至2017年，Weta Digital 已經(jīng)獲得了6項奧斯卡最佳視覺效果獎，其中就包括《指環(huán)王：指環(huán)王：護戒使者》(2001)、《指環(huán)王：雙塔》(2002)、《指環(huán)王：王者歸來》(2003)、《金剛》(2005)、《阿凡達》(2009) 和《叢林王子》(2016)。
「Weta Digital的技術(shù)代表了有史以來最完整的三維創(chuàng)建、模擬和渲染工具鏈。Peter Jackson和Weta Digital整個團隊的才華對Unity公司的所有人來說都是難以置信的鼓舞?！?/p>
Weta Digital 15年的深度研發(fā)，帶來了數(shù)十種行業(yè)領(lǐng)先的工具，如Manuka、Gazebo、Barbershop、Lumberjack、Loki、Squid、Koru等，這些工具都無縫集成到了Weta Digital的生產(chǎn)流水線中。
這些工具是獲獎電視和電影的基礎(chǔ)，如《阿凡達》、《黑寡婦》、《權(quán)力的游戲》、《指環(huán)王》、《猩球崛起》、《神奇女俠》、《X特遣隊》等等。
Weta Digital的視覺特效（VFX）工具在動作捕捉、表演捕捉和CGI技術(shù)上頗有建樹。
?為了完美捕捉演員面部細節(jié)，技術(shù)人員會先使用Koru，一個先進的木偶操縱系統(tǒng)，可以捕捉多角色的表演并且支持高性能動畫、布料模擬和類似應(yīng)用。
在創(chuàng)建好木偶后，需要用演員的牙齒和牙齦的模具建立面部肌肉系統(tǒng)，完成面部表情人偶（數(shù)字替身），用來建立表情庫。
這時就用到了Facial Tech。Facial Tech提供了高級面部捕捉和操作工作流，并且使用機器學(xué)習(xí)來支持面部肌肉的直接操作，可以將演員面部捕捉轉(zhuǎn)移到目標(biāo)人偶模型上。
?然后，還要再建立一個合適的臉部表面，包括肌肉上面的脂肪組織、表面的皮膚層等等。
Tissue工具可以讓藝術(shù)家和動畫師能夠創(chuàng)建生物學(xué)上精確的解剖角色模型，精確地表示肌肉和皮膚的行為，并將生成的角色轉(zhuǎn)移到模擬工具中。
?
?精細的頭發(fā)渲染也是一大難題。
Weta Digital的視覺特效（VFX）工具中有一套頭發(fā)和毛皮工具：Barbershop，支持從生長到梳理的整個工作流程。
藝術(shù)家可以使用程序工具和藝術(shù)家指導(dǎo)工具的組合來生長頭發(fā)和毛發(fā)，調(diào)整生長模式，并修飾最終模型，高級的程序工具甚至還支持編發(fā)之類的概念。而且生成的模型是實時模擬的，可以提供由運動和風(fēng)產(chǎn)生的真實動態(tài)。
最終，通過這樣一步一步的建模，就可以塑造一個有血有肉的人物形象。
值得一提的是，將面部捕捉投影到動作捕捉木偶上這一過程是可以實時觀看的，計算機生成的內(nèi)容和現(xiàn)場攝像機輸入也支持現(xiàn)場混合進行現(xiàn)場觀看。
?除了這些工具外，Unity此次收購Weta Digital，還將從Weta Digital那里拿到成千上萬的素材庫庫，其中包括城市和自然環(huán)境、動植物、人類、人造物體、材料、紋理等。
WetaFX團隊將繼續(xù)進行電影和電視的視覺特效制作，并在未來幾年繼續(xù)為這個資源庫提供素材。
?而Unity的目標(biāo)是將這些工具變成云支持的，并確保它們能夠輕松地集成在目前的工作流和Unity引擎中。這樣就可以將世界級的視覺特效工具交到全球數(shù)百萬創(chuàng)作者和藝術(shù)家的手中，讓下一代實時3D（Real Time 3D，RT3D）發(fā)揮創(chuàng)造力，從而塑造元宇宙的未來。
?「Weta Digital的工具為我們創(chuàng)造了無限的可能性，讓原本生活在我們想象中的世界和生物栩栩如生，」仍然擔(dān)任Weta Digital董事長的彼得·杰克遜說。
「Unity和Weta Digital可以共同為任何行業(yè)的任何藝術(shù)家創(chuàng)造一條道路，讓他們能夠利用這些極具創(chuàng)造力的工具，這無異于改變游戲規(guī)則，Unity正是將這一愿景變?yōu)楝F(xiàn)實的公司?！?/p>
參考資料：
https://blog.unity.com/technology/making-of-the-heretic-digital-human-tech-package
http://www.gamelook.com.cn/2021/09/455604
https://blog.unity.com/news/welcome-weta-digital
http://www.0478114.com/u19806/cc8c906235844b6990f863b492f3a542.html
https：//www.shacknews.com/article/127602/unity-u-to-acquire-weta-digital-for-1625-billion-in-cash-and-stock
本文來自微信公眾號“新智元”（ID:AI_era），作者：新智元，36氪經(jīng)授權(quán)發(fā)布。
