11月GTC大會上，除了老黃本人，廚房都是假的。從大理石柜臺，到新古典主義壁龕烤箱，再到標志性的抹刀花束，沒有一件是真的物品。沒想到英偉達的技術(shù)還是騙過了我們的眼睛。
11月GTC大會上，除了老黃本人，廚房都是假的！
其實他背后真實的數(shù)字模型是這樣子的：
落日余暉，光與影的變幻。
問題是，你看到的東西沒有一個是真的?。?！
假亦真時真亦假，你還敢相信自己的眼睛嗎？
英偉達官方透露，從10月30日開始，視頻團隊在英偉達硅谷總部的2間會議室里僅用了4天時間就錄下了老黃的全程演講內(nèi)容。
通過Omniverse平臺，英偉達團隊創(chuàng)建了黃仁勛演講背后的動態(tài)虛擬環(huán)境——數(shù)字廚房。
從大理石柜臺，到新古典主義壁龕烤箱，再到標志性的抹刀「花束」，黃仁勛廚房成了充滿奇幻的地方。
在這個這個「假」廚房里，英偉達還特地加入了一些彩蛋。
比如右下角有一瓶據(jù)說是帶著自家logo的橄欖油，還有左邊的廚具也被換掉了。
仔細觀察，老黃肩膀上的光線隨著轉(zhuǎn)身也跟著移動，根本無法看出破綻，完美地與虛擬世界相融合。
那么，數(shù)字廚房是如何實現(xiàn)的呢？
第一步，英偉達團隊拍攝了老黃廚房的高分辨率圖像，之后便以此素材作為構(gòu)建虛擬場景的主要參考。
就像老黃家中的什么橄欖油啊，鹽盒品牌，櫥柜的螺絲等等，工作人員都是費了很大功夫去研究廚房里所有東西的詳細參考資料。
第二步，由8位英偉達藝術(shù)家和 10 位自由創(chuàng)作者組成的團隊使用Omniverse構(gòu)建了過場動畫。
他們分別在不同軟件中制作，最后通過Omniverse Connectors將所有模型和數(shù)據(jù)整合在一起。
在廚房場景中，一共出現(xiàn)了57個獨特3D模型和6240個對象，它們的建模工作都是在Autodesk 3ds Max、Autodesk Maya 和 Pixologic Zbrush中完成的。
8位藝術(shù)家們使用 Adobe Substance Painter 和 PS 制作紋理，動畫則是在 Maya 中完成的。
最后，團隊工作人員使用 Nuke 進行場景合成，而剪輯則使用 DaVinci Resolve 完成。
當然了，后期渲染肯定也是少不了的。
借助Omniverse Farm工具，藝術(shù)家團隊能夠輕松地為 GTC 批量渲染4萬幀，總計4TB的內(nèi)容。
其實，除了老黃的廚房，視頻中每次轉(zhuǎn)場的背景也是虛擬環(huán)境，包括數(shù)據(jù)中心和英偉達在硅谷的園區(qū)。
這樣看來，貌似還真發(fā)現(xiàn)了一點破綻。
黃仁勛背后的樹葉被風吹的左右飄搖，但他本人的頭發(fā)絲依舊紋絲不動。
不信？你來仔細鑒別。
（GTC大會：https://www.youtube.com/watch?v=I3QMhJ-Mrb0）
大會上，黃仁勛宣布了人工智能Omniverse平臺重大更新，其中包括一些令人振奮的新功能。
對于Omniverse平臺功能更新共有4個：
Showroom是一個包含演示和示例應(yīng)用程序，展示了Omniverse核心技術(shù)。
Farm一個系統(tǒng)層，用于協(xié)調(diào)跨多個系統(tǒng)、工作站、服務(wù)器和虛擬化批作業(yè)處理，可以用于批量渲染，AI合成數(shù)據(jù)生成或分布式計算。
據(jù)介紹，英偉達團隊制作虛擬廚房也是為了進一步開發(fā) Omniverse Farm和跨多個團隊的 Shot Manager 擴展的機會。
Omniverse AR可以將將圖形串流到手機或者AR眼鏡。Omniverse VR是英偉達首款全幀交互式光線追蹤VR。
Omniverse平臺具有很強大的構(gòu)建虛擬環(huán)境的能力，但是，如果覺得用Omniverse只能搭環(huán)境，那可真是小看它了。
為了幫助開發(fā)者利用Omniverse創(chuàng)建具有「智慧」的虛擬人，Omniverse還開放了一個新功能：Omniverse Avatar。
Omniverse Avatar匯集了語音AI、計算機視覺、自然語言理解、推薦引擎、Avatar動畫和圖形等等一系列技術(shù)，獲得了令人驚嘆的效果。
在11月的GTC 2021大會上，黃仁勛重磅發(fā)布了可以與人進行流暢交流的虛擬形象Toy-Me，看上去就是一個卡通玩偶版的黃仁勛。
黃仁勛表示，「這個虛擬形象是基于目前訓練的最大語言模型的語言處理打造，包括聲音也是用我自己的語音進行合成，還可以看到實時基于光線追蹤的精美圖像?！?/p>
這個 Toy-Me 有多厲害？
在演示中，來自不同領(lǐng)域的3位科學家分別讓虛擬形象回答有關(guān)氣候變化、天文學以及生物蛋白質(zhì)合成等方面的問題，難度還不低。
不過，這個可愛的小CEO回答得行云流水。
由此可見，Omniverse Avatar為快速創(chuàng)建人工智能助手打開了大門，這些虛擬助手幾乎可以為任何行業(yè)輕松定制。
它們可以幫助人們處理數(shù)十億的日?？蛻舴?wù)互動，包括餐廳訂單、銀行交易、個人預約和預訂等等。
除了Toy-Me，英偉達還基于Omniverse Avatar打造了兩個虛擬助手，一個是蛋殼公仔Tokkio，一個是Maxine。
蛋殼公仔Tokkio是一個餐廳客服虛擬助手，能夠與顧客交談并理解他們的意圖。
比如，Tokkio可以同時和兩個顧客進行交談并理解他們要點什么。
Tokkio還被集成在了Nvidia Drive Concierge中，可以用語音喚醒，執(zhí)行一些自然語音命令，比如打電話預訂。
司機還可以用它實現(xiàn)自動停車，只用動動嘴皮就好。
而Maxine為虛擬會議和視頻內(nèi)容創(chuàng)作應(yīng)用提供了最先進的語音轉(zhuǎn)錄和音頻生成工具。
在演示中，一個女人在嘈雜的咖啡館里通過視頻通話說著英語，但是背景噪音卻一點也聽不見。
更妙的是，當她說話時，她的語音會被實時轉(zhuǎn)錄并翻譯成法語、德語、西班牙語和中文，聲音和語調(diào)都還是她本人的。
這些神奇的功能都要依賴Omniverse Avatar的助力。
她的化身背后，是英偉達的Video2Face、Audio2Face、2D和3D AI驅(qū)動的面部動畫和渲染技術(shù)。
就在4月份的GTC大會，黃仁勛曾以14秒的假身現(xiàn)身演講。
視頻中，隨著鏡頭逐漸拉遠，老黃也開始被「分解」，一波特效完成之后，老黃也消失了。
老黃假身進行的數(shù)據(jù)采樣也是通過這幾項技術(shù)實現(xiàn)。
虛擬人的面部動作只需要導入純音頻后，Audio2Face能根據(jù)語音內(nèi)容自動生成。
還有，F(xiàn)ace-Vid2Vid可以讓模型看起來更真實。只需一張照片，對應(yīng)覆蓋在CG模型上就可以了得到一個「栩栩如生」的臉了。
Omniverse Avatar的語音識別基于英偉達Riva，這是一個軟件開發(fā)工具包，可以識別多種語言的語音。Riva還可以利用文本到語音生成功能生成類似人類的語音。
Omniverse Avatar的自然語言理解能力是基于Megatron 530B大型語言模型，可以識別、理解和生成人類語言。
Megatron 530B預訓練模型在各種自然語言任務(wù)如：完形填空、閱讀理解、常識推理、自然語言推理、詞義消歧中紛紛實現(xiàn)SOTA。
除了可以回答問題、總結(jié)長而復雜的故事，Megatron還可以在沒有經(jīng)過專門訓練的領(lǐng)域處理相應(yīng)的問題。
Omniverse Avatar的推薦引擎由NVIDIA Merlin提供，該框架允許企業(yè)建立能夠處理大量數(shù)據(jù)的深度學習推薦系統(tǒng)，以提出更智能的建議。
Avatar的感知能力則是由NVIDIA Metropolis提供，這是一個用于視頻分析的計算機視覺框架。
所有這些技術(shù)都被整合到一個應(yīng)用程序中，并使用英偉達統(tǒng)一計算框架進行實時處理。
這些技能可以被打包為可擴展、可定制的微服務(wù)，并由NVIDIA Fleet Command進行安全地部署、管理和編排。
利用這些工具，英偉達正在譜寫一個可以影響數(shù)萬億美元的市場的故事，而所有的這些都建立在Omniverse之上。
https://blogs.nvidia.com/blog/2021/12/21/how-omniverse-keynote/
https://blogs.nvidia.com/blog/2021/12/08/gtc-keynote-virtual-kitchen/?ncid=so-twit-128511
本文來自微信公眾號“新智元”（ID:AI_era），編輯：桃子 小咸魚，36氪經(jīng)授權(quán)發(fā)布。
