2021 GTC 如約而至，黃仁勛在昨日下午進(jìn)行了主題演講。在為期一個(gè)半小時(shí)的演講中，「皮衣教主」全程高能輸出，介紹了多項(xiàng)新技術(shù)，并且這些技術(shù)有望為萬億美元產(chǎn)業(yè)帶來改變。主要技術(shù)內(nèi)容包含了人工智能平臺(tái)、對(duì)話式 AI、數(shù)字孿生及自動(dòng)駕駛等等。總結(jié)起來就是——全力擁抱元宇宙。
在本次演講上，老黃還帶來了萌版的自己——Toy-Jensen（即老黃口中的 Toy-Me）。
這個(gè)萌版老黃不僅人物形象與老黃一致，聲音都用他自己的語音進(jìn)行合成，甚至他還具備實(shí)時(shí)光追，確保圖片動(dòng)效保持高水準(zhǔn)且在交流時(shí)能夠注視交流者的眼睛。
Toy-Jensen 還能夠與人進(jìn)行深度互動(dòng)，在演示中，交流者的提問涵蓋了氣候、天文和生物，即便問題很棘手，Toy-Jensen 也能對(duì)答如流。而這就是老黃要推出的全方位虛擬化 AI 助手平臺(tái)——Omniverse Avatar，在下一個(gè)階段中，AI 助手將變得擬人化，更有溫度、更有生命力。
Omniverse Avatar 能夠讓開發(fā)者更快地創(chuàng)建、定制人工智能助手，這些 AI 助手能夠幫助用戶處理數(shù)十億的客戶服務(wù)互動(dòng)，包括了餐廳點(diǎn)單、銀行交易以及個(gè)人網(wǎng)上預(yù)約等。
Omniverse Avatar 的使用案例還包括了用于客戶支持的 Project Tokkio 和用于視頻會(huì)議的 Project Maxine。
Project Tokkio 最常見的使用場景便是餐廳的客戶點(diǎn)單，虛擬人物化身可以與多個(gè)客戶交流，理解他們的意圖并且能夠主動(dòng)進(jìn)行推薦。
在去年的 GTC 上，老黃帶來了 Maxine。時(shí)隔一年，英偉達(dá)針對(duì)客戶服務(wù)和視頻會(huì)議提升了Project Maxine 的能力。借助 RIVA（語音軟件開發(fā)工具包），Maxine 能夠?qū)⑷说恼Z音進(jìn)行實(shí)時(shí)轉(zhuǎn)錄和翻譯，且語調(diào)和音色保持不變。
Omniverse 則根據(jù)語音模擬 3D 面部動(dòng)畫，任何語言的虛擬頭像都能同時(shí)播放，供視頻另一端選擇。即便視頻端發(fā)言者本人低頭看腳本或會(huì)議紀(jì)要，Maxine 也會(huì)讓另一端的使用者感覺到（發(fā)言者）在看著自己。
簡單來說，與你進(jìn)行視頻會(huì)議的人展現(xiàn)出的神態(tài)和動(dòng)作并不是你肉眼中看到的樣子，你眼中的一切都是 Maxine 通過他的語音合成給你看的?；蛟S對(duì)方正坐在咖啡館，且周圍很嘈雜。
Omniverse Avatar 集圖形、計(jì)算機(jī)視覺、語音識(shí)別技術(shù)等一體，并全是自家的技術(shù)。Avatar 的自然語言理解是基于 Megatron 530B 大型語言模型，可以識(shí)別、理解和生成人類語言。推薦引擎由 NVIDIA Merlin提供、感知能力由 NVIDIA Metropolis 提供。
這些技術(shù)將來也會(huì)落地于智能汽車，Project Tokkio 上車后，車輛便有了更自然更好用的 AI 助理，它不僅能夠與車內(nèi)人員進(jìn)行交互，還會(huì)主動(dòng)推薦更好的駕駛模式和行駛路線。
并且在黃仁勛看來，到 2024 年，絕大多數(shù)新電動(dòng)車都將具備真正的自動(dòng)駕駛能力。英偉達(dá)目前正在開發(fā)用于構(gòu)建自動(dòng)駕駛汽車的端到端流程，以及全棧車內(nèi)自動(dòng)駕駛系統(tǒng)和全球云地圖。
NVIDIA Drive 是一個(gè)全棧式的開放自動(dòng)駕駛平臺(tái)，而 Hyperion 8 則是英偉達(dá)最新的完整硬件和軟件架構(gòu)，它的傳感器配置包括：12 顆攝像頭、9 顆毫米波雷達(dá)、12 顆超聲波雷達(dá)和一個(gè)前置激光雷達(dá)，另外，Hyperion 8 還配套了兩顆 Orin 芯片。
黃仁勛表示，汽車實(shí)現(xiàn)自動(dòng)駕駛的過程其實(shí)就是將汽車改造為機(jī)器人的過程，而機(jī)器學(xué)習(xí)開發(fā)的關(guān)鍵支柱，則是在 Omniverse 平臺(tái)上通過 Drive Sim （合成數(shù)據(jù)生成器）進(jìn)行模擬和生成合成數(shù)據(jù)以及在 Orin Robotics 芯片上通過 Drive AV 構(gòu)建實(shí)時(shí)機(jī)器人工作流。
翻譯一下就是，生成的數(shù)據(jù)很重要，其次要進(jìn)行驗(yàn)證，最后才是輸出為機(jī)器人工作流。
在自動(dòng)駕駛研發(fā)中，將傳感器獲取的信息轉(zhuǎn)換為計(jì)算機(jī)可用的虛擬世界信息是至關(guān)重要的一步，這也就是老黃口中的第一個(gè)目標(biāo)。借助視覺圖像和高精地圖，Hyperion 8 能夠完成避障、定位、環(huán)境感知以及路徑規(guī)劃，最終達(dá)到目的地。
另外，這套架構(gòu)的設(shè)計(jì)既能提供高保真的感知，也有冗余和容錯(cuò)機(jī)制。而且這套硬件也具有足夠的算力和可編程性，可應(yīng)對(duì)車輛生命周期內(nèi)的軟件改進(jìn)。
英偉達(dá)從全世界各地收集 PB 級(jí)的道路數(shù)據(jù)，并且他們擁有大約 3,000 名訓(xùn)練有素的標(biāo)記員，創(chuàng)建并訓(xùn)練數(shù)據(jù)。盡管如此，合成數(shù)據(jù)的生成依然是英偉達(dá)數(shù)據(jù)策略的基石。對(duì)了，Drive Sim Replicator 是一個(gè)構(gòu)建于 Omniverse 平臺(tái)的合成數(shù)據(jù)生成器，在構(gòu)建 Hyperion 8 和收集到數(shù)據(jù)之前，Replicator 引導(dǎo) AI 標(biāo)注工具和模型，Replicator 能夠以人工無法實(shí)現(xiàn)的方式標(biāo)記真值。
英偉達(dá)還建立了一個(gè)激光雷達(dá)材質(zhì)庫，另外還在構(gòu)建毫米波雷達(dá)材質(zhì)庫。英偉達(dá)所做的一切，都是為了自動(dòng)駕駛中對(duì)多傳感器做融合。
這一段老黃的高能輸出，都是在強(qiáng)調(diào)英偉達(dá)自動(dòng)駕駛架構(gòu) Hyperion 8 發(fā)展的重要基石，即是數(shù)據(jù)和多傳感器融合方案，并且他們通過物理模擬的方式，獲得了精準(zhǔn)的光束反射。另外，輔以高精度地圖的作用，讓他們的自動(dòng)駕駛方案又多了上 帝視角，且多了一重冗余。
光說理念不行，在演講中，老黃還現(xiàn)場展示了搭載 Hyperion 8 架構(gòu)的奔馳 S 的路測視頻。測試路段為英偉達(dá)總部周邊。在這段路測中，搭載 Hyperion 8 架構(gòu)的奔馳 S 先后完成了并線、人行橫道避讓、交叉路口、環(huán)道及四葉草立交橋的通行。
路測場景既包含了封閉路段，也包含了城市開放道路，并且每一項(xiàng) case 都處理的非常自然，與人類駕駛相差無幾。另外，駕駛者全程脫手，只是將目光注視在前方道路上。
老黃表示，自動(dòng)駕駛不僅能改變我們出行、提高安全性，將 Maxine 融入車內(nèi)后，我們與汽車的交互方式也將徹底改變。有了 Maxine 就像是有了私人管家，Maxine 還能向成員展示汽車看到的景象，使人和機(jī)器建構(gòu)信任感。
如今輔助駕駛的重心正在從封閉道路轉(zhuǎn)向城市開放道路，開放道路中的不確定性是輔助駕駛的最大隱患，且長尾場景太多，需要不斷收集數(shù)據(jù)、優(yōu)化迭代。華為 ADS、小鵬 NGP 讓我們對(duì)今后的開放道路輔助駕駛產(chǎn)生了遐想，如今英偉達(dá) Hyperion 8 同樣讓我們產(chǎn)生了這種遐想。
英偉達(dá)虛擬世界模擬引擎 Omniverse 貫穿了整個(gè)主題演講，機(jī)器人、自動(dòng)駕駛車隊(duì)、倉庫、工廠甚至整個(gè)城市都將在 Omniverse 數(shù)字孿生中完成創(chuàng)建、訓(xùn)練和運(yùn)行。
倉儲(chǔ)物流無人化每年能夠?yàn)槲锪鞴竟?jié)省十幾億美元，配送 14 個(gè)披薩的路徑有 870 億種，對(duì)于達(dá)美樂來說，在 30 分鐘之內(nèi)送達(dá)披薩也絕非易事。英偉達(dá)能夠?yàn)閭}儲(chǔ)物流節(jié)約資金的同時(shí)提高效率，也能為配送問題提供最優(yōu)解決方案。
以小見大，Omniverse 能夠模擬倉儲(chǔ)、工廠，能夠進(jìn)行無人駕駛的模擬和驗(yàn)證。英偉達(dá)還將創(chuàng)建一個(gè)數(shù)字孿生模型來模擬和預(yù)測氣候變化，并將它命名為 E-2，即 Earth-2。E-2 即是地球的數(shù)字孿生，在 Omniverse 中，E-2 將會(huì)以百萬倍的速度運(yùn)行。目前英偉達(dá)所有的發(fā)明，均是實(shí)現(xiàn) Earth-Two 所必不可少的。
老黃的演講在最終 ending 處被推向高潮，老黃稱：我想不到比這更宏偉、更重要的用途。
說實(shí)話，這場發(fā)布會(huì)我沒有完全看懂，唯一的觀后感即是那句流傳甚廣的俗語——科技造福人類。這與這場發(fā)布會(huì)的彩蛋不謀而合。
問：什么樣的人是最偉大的？
Toy-Jensen：最偉大的是那些善待他人的人！
本文來自微信公眾號(hào) “42號(hào)車庫”（ID：i42how），作者：波波編輯：萊因哈特，36氪經(jīng)授權(quán)發(fā)布。
