生成式人工智能正在重塑價(jià)億美元的產(chǎn)業(yè)，而英偉達(dá)公司作為智能機(jī)器人領(lǐng)域的領(lǐng)跑者，正在抓住這一機(jī)遇。 英偉達(dá)?（NVIDIA?）機(jī)器人與邊緣計(jì)算副總裁Deepu Talla在今天的CES展前特別演講中詳細(xì)介紹了英偉達(dá)?（NVIDIA?）及其合作伙伴如何將人工智能與機(jī)器人技術(shù)相結(jié)合。

英偉達(dá)?（NVIDIA?）機(jī)器人與邊緣計(jì)算事業(yè)部副總裁 Deepu Talla 詳細(xì)介紹了英偉達(dá)?（NVIDIA?）及其合作伙伴如何將生成式人工智能與機(jī)器人技術(shù)結(jié)合在一起。

Talla說(shuō)："人工智能驅(qū)動(dòng)的自主機(jī)器人正被越來(lái)越多地用于提高效率、降低成本和解決勞動(dòng)力短缺問(wèn)題。"

參與創(chuàng)造

英偉達(dá)從一開(kāi)始就一直是生成式人工智能革命的核心。十年前，英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛親手將第一臺(tái)英偉達(dá) DGX AI 超級(jí)計(jì)算機(jī)交付給 OpenAI?，F(xiàn)在，得益于 OpenAI 的 ChatGPT，生成式人工智能已成為當(dāng)代發(fā)展最快的技術(shù)之一。

而這一切才剛剛開(kāi)始

Talla 預(yù)測(cè)，生成式人工智能的影響將超越文本和圖像生成，進(jìn)入家庭和辦公室、農(nóng)場(chǎng)和工廠、醫(yī)院和實(shí)驗(yàn)室。關(guān)鍵在于LLM 類(lèi)似于大腦的語(yǔ)言中心，將讓機(jī)器人更自然地理解和響應(yīng)人類(lèi)的指令。這些機(jī)器將能夠不斷地向人類(lèi)學(xué)習(xí)、相互學(xué)習(xí)以及向周?chē)氖澜鐚W(xué)習(xí)。

Talla說(shuō)："鑒于這些特性，生成式人工智能非常適合機(jī)器人技術(shù)。"

機(jī)器人如何使用生成式人工智能

Agility Robotics、NTT 和其他公司正在將生成式人工智能融入機(jī)器人，幫助它們理解文本或語(yǔ)音命令。Dreame Technology 公司的機(jī)器人吸塵器正在生成式人工智能模型創(chuàng)建的模擬生活空間中接受訓(xùn)練。而 Electric Sheep 公司正在開(kāi)發(fā)一種用于自動(dòng)割草的世界模型。

英偉達(dá)?（NVIDIA?）的技術(shù)，如英偉達(dá)?（NVIDIA?）Isaac和Jetson平臺(tái)，為開(kāi)發(fā)和部署人工智能機(jī)器人提供了便利，目前已有120多萬(wàn)開(kāi)發(fā)人員和1萬(wàn)多家客戶與合作伙伴依賴(lài)這些技術(shù)。

其中許多公司都參加了本周的 CES，包括 Analog Devices、Aurora Labs、Canonical、Dreame Innovation Technology、DriveU、e-con Systems、Ecotron、Enchanted Tools、GluxKind、Hesai Technology、Leopard Imaging、Segway-Ninebot、Nodar、Orbbec、Qt Group、Robosense、Spartan Radar、TDK Corporation、Telit、Unitree Robotics、Voyant Photonics 和 ZVISION Technologies Co.

兩個(gè)大腦勝過(guò)一個(gè)大腦

在 CES 的演講中，Talla 展示了在機(jī)器人技術(shù)中部署人工智能所必需的雙計(jì)算機(jī)模型（如下圖），展示了英偉達(dá)在人工智能開(kāi)發(fā)和應(yīng)用方面的綜合方法。

第一臺(tái)計(jì)算機(jī)被稱(chēng)為 "人工智能工廠"，是創(chuàng)建和不斷改進(jìn)人工智能模型的核心。AI 工廠利用英偉達(dá)數(shù)據(jù)中心計(jì)算基礎(chǔ)設(shè)施以及 AI 和 NVIDIA Omniverse 平臺(tái)來(lái)模擬和訓(xùn)練 AI 模型。

第二臺(tái)計(jì)算機(jī)代表機(jī)器人的運(yùn)行環(huán)境

運(yùn)行環(huán)境因應(yīng)用而異：它可以位于云端或數(shù)據(jù)中心；也可以位于內(nèi)部服務(wù)器中，用于半導(dǎo)體制造中的缺陷檢測(cè)等任務(wù)；還可以位于配備多個(gè)傳感器和攝像頭的自主機(jī)器中。

生成優(yōu)質(zhì)資產(chǎn)和場(chǎng)景

Talla 還強(qiáng)調(diào)了 LLM 在打破技術(shù)壁壘方面的作用，它將普通用戶轉(zhuǎn)變?yōu)榧夹g(shù)藝術(shù)家，能夠創(chuàng)建復(fù)雜的機(jī)器人工作單元或整個(gè)倉(cāng)庫(kù)模擬。

利用英偉達(dá)畢加索（NVIDIA Picasso）等生成式人工智能工具，用戶可以根據(jù)簡(jiǎn)單的文本提示生成逼真的三維資產(chǎn)，并將其添加到數(shù)字場(chǎng)景中，從而創(chuàng)建動(dòng)態(tài)、全面的機(jī)器人訓(xùn)練環(huán)境。同樣的功能還可以擴(kuò)展到在 Omniverse 中創(chuàng)建各種物理上精確的場(chǎng)景，從而增強(qiáng)機(jī)器人的測(cè)試和培訓(xùn)，確保其在現(xiàn)實(shí)世界中的適用性。

這與生成式人工智能在重新配置機(jī)器人部署方面的變革潛力不謀而合。傳統(tǒng)上，機(jī)器人是為特定任務(wù)而專(zhuān)門(mén)制造的，而為不同任務(wù)修改機(jī)器人則是一個(gè)耗時(shí)的過(guò)程。 但 LLM 和視覺(jué)語(yǔ)言模型的進(jìn)步正在消除這一瓶頸，通過(guò)自然語(yǔ)言與機(jī)器人進(jìn)行更直觀的互動(dòng)。 這種適應(yīng)能力強(qiáng)、能感知周?chē)h(huán)境的機(jī)器很快就會(huì)遍布全球。

VIDIA（Nvidia Corporation，/?n?v?di?/；中國(guó)臺(tái)灣與香港繁中名為輝達(dá)，中國(guó)大陸簡(jiǎn)中名為英偉達(dá)），創(chuàng)立于1993年1月，是一家以設(shè)計(jì)和銷(xiāo)售圖形處理器為主的無(wú)廠半導(dǎo)體公司。NVIDIA亦會(huì)設(shè)計(jì)游戲機(jī)核心，例如Xbox和PlayStation。NVIDIA最出名的產(chǎn)品線是為個(gè)人與游戲玩家所設(shè)計(jì)的GeForce系列，為專(zhuān)業(yè)CGI工作站而設(shè)計(jì)的Quadro系列，以及為服務(wù)器和高效運(yùn)算而設(shè)計(jì)的Tesla系列，雖然起家于PC電腦的顯卡業(yè)務(wù)，英偉達(dá)也曾涉及移動(dòng)芯片Tegra的設(shè)計(jì)，但智能機(jī)市場(chǎng)對(duì)此響應(yīng)不大，不過(guò)近年卻利用這些研發(fā)經(jīng)驗(yàn)，目前朝向人工智能和機(jī)器視覺(jué)的市場(chǎng)發(fā)展，也是圖形處理器上重要的開(kāi)發(fā)工具CUDA的發(fā)明者。不過(guò)NVIDIA的發(fā)展過(guò)程也是非議不斷，批評(píng)多集中于濫用排他性商業(yè)合作、不正當(dāng)營(yíng)銷(xiāo)方式、對(duì)業(yè)界開(kāi)放標(biāo)準(zhǔn)和自由軟件運(yùn)動(dòng)的拒斥等。

NVIDIA的總部設(shè)在美國(guó)加利福尼亞州的圣克拉拉位于硅谷的中心位置。

歷史

NVIDIA創(chuàng)辦人兼首席執(zhí)行官兼總裁黃仁勛

黃仁勛、克里斯·馬拉科夫斯基和卡蒂斯·普里姆于1993年4月美國(guó)加州創(chuàng)辦了NVIDIA（隨后成為特拉華州企業(yè)）。NVIDIA保持低調(diào)到1997－1998年，當(dāng)時(shí)它發(fā)布了RIVA個(gè)人電腦繪圖處理器產(chǎn)品線。并于1999年1月在納斯達(dá)克掛牌上市；同年5月，售出第一千萬(wàn)個(gè)繪圖處理器。于2000年收購(gòu)了一代王者3dfx的知識(shí)產(chǎn)權(quán)。3dfx是1990年代中期其中一間最大的圖形處理器廠商。NVIDIA與許多OEM廠商，和一些組織創(chuàng)建起密切關(guān)系，最知名的包括臺(tái)積電。2002年2月，NVIDIA售出第一億個(gè)繪圖處理器。

目前NVIDIA和AMD供應(yīng)了市場(chǎng)上大部分獨(dú)立顯卡。NVIDIA最著名的GeForce繪圖處理器產(chǎn)品線于1999年首次亮相?，F(xiàn)在GeForce產(chǎn)品線已經(jīng)擴(kuò)展至桌面型和筆記本電腦。移動(dòng)設(shè)備方面，NVIDIA擁有Tegra產(chǎn)品線。它能提供高性能，同時(shí)保持低電源消耗。此類(lèi)產(chǎn)品通常用于無(wú)線通信設(shè)備。

2020年4月 27日，NVIDIA宣布已完成對(duì)Mellanox Technologies, Ltd.（邁絡(luò)思科技有限公司）的收購(gòu)，成交價(jià)70億美元。

2020 年 7 月，有報(bào)導(dǎo)稱(chēng)英偉達(dá)正在與軟銀談判以 320 億美元收購(gòu)英國(guó)芯片設(shè)計(jì)公司安謀。 2020 年 9 月 13 日，英偉達(dá)宣布將以 400 億美元的價(jià)格從軟銀集團(tuán)手中收購(gòu) Arm Holdings，但須接受通常的審查，后者保留英偉達(dá) 10% 的股份。

2021年6月11日，英偉達(dá)宣布收購(gòu)自動(dòng)駕駛汽車(chē)高清地圖開(kāi)發(fā)商 DeepMap, Inc.。

產(chǎn)品制造

作為一家無(wú)晶圓IC半導(dǎo)體設(shè)計(jì)公司，NVIDIA于自己的實(shí)驗(yàn)室研發(fā)芯片，但將芯片制造工序分包給晶圓代工廠。以往，NVIDIA從其他廠商，例如IBM、意法半導(dǎo)體、臺(tái)積電（NVIDIA目前最重要的代工合作伙伴）和聯(lián)華電子獲得硅芯片生產(chǎn)能力。芯片的供應(yīng)鏈需涉及數(shù)間第三廠：制造完畢的晶圓由集成電路封裝廠進(jìn)行初步測(cè)試與封裝作業(yè)，之後交由測(cè)試廠的測(cè)試部門(mén)進(jìn)行深度測(cè)試并根據(jù)性能分類(lèi)。依據(jù)存貨清單，NVIDIA必須提早數(shù)月訂購(gòu)芯片，并將之存儲(chǔ)起來(lái)等待使用。

在最終產(chǎn)品上（指顯卡、主板等），NVIDIA會(huì)推出所謂原廠“公版”（Reference）產(chǎn)品（稱(chēng)為參考樣卡或參考模板）供展示及測(cè)試之用，早期產(chǎn)品是由臺(tái)灣的微星和斯博科、美國(guó)的威竣（VisionTek）和新美亞（Sanmina-SCI）、德國(guó)的埃爾莎代工，目前由新加坡的偉創(chuàng)力與臺(tái)灣的鴻海（富士康）、華碩和捷波代工或設(shè)計(jì)。在零售市場(chǎng)上，NVIDIA會(huì)把頂級(jí)型號(hào)的“原廠”公版產(chǎn)品給各個(gè)第三方廠商貼牌，如GeForce 7950 GX2、Quadro FX 5600、nForce 680i SLI等等，這些廠商的產(chǎn)品設(shè)計(jì)用料完全相同，均由一家廠商代工。在OEM市場(chǎng)上，亦有部分“原廠”公版產(chǎn)品存在。2008年后NVIDIA允許了旗艦級(jí)產(chǎn)品的“非公版”（Non-Reference）設(shè)計(jì)，但只有極少數(shù)有實(shí)力的廠商（如華碩、技嘉、微星、影馳等）會(huì)推出自己設(shè)計(jì)的產(chǎn)品。2010年10月初，NVIDIA曾透過(guò)BestBuy少量銷(xiāo)售由富士康代工的NVIDIA品牌“原廠”產(chǎn)品。

主要產(chǎn)品

NVIDIA的產(chǎn)品組合包括繪圖處理器、個(gè)人電腦平臺(tái)（主板邏輯核心）芯片組和數(shù)字媒體播放器的軟件。在Mac/PC用戶社區(qū)中，NVIDIA的"GeForce"產(chǎn)品線最為人熟悉。除了獨(dú)立型顯卡外，還有微軟的Xbox游戲核心和nForce主板（已停產(chǎn)）的核心技術(shù)，NVIDIA最近進(jìn)入的領(lǐng)域是用于手機(jī)和平板電腦的ARM芯片，品牌為T(mén)egra至今已推出5代。

在2004年12月，NVIDIA宣布會(huì)協(xié)助索尼設(shè)計(jì)PS3的繪圖處理器（RSX）。NVIDIA只會(huì)負(fù)責(zé)設(shè)計(jì)，Sony會(huì)負(fù)責(zé)制造該繪圖處理器。根據(jù)合約，NVIDIA會(huì)使用索尼的芯片廠（索尼和東芝）來(lái)制造RSX，并將制程提升至65納米。這與微軟的協(xié)議是互相違背的，因?yàn)镹VIDIA會(huì)透過(guò)第三者制造Xbox的繪圖處理器。（其間微軟選擇了AMD去提供Xbox 360的繪圖硬件的IP設(shè)計(jì)。任天堂的GameCube和Wii亦采用ATI的繪圖處理器。）

2008年2月11日，NVIDIA發(fā)布了用于手機(jī)平臺(tái)的APX 2500應(yīng)用處理器。該處理器集成了一個(gè)ARM處理器和一個(gè)顯示核心。這款處理器是由NVIDIA和微軟聯(lián)合研制，方面應(yīng)用于使用Windows Mobile的電話中，提高Windows Mobile平臺(tái)的多媒體處理能力。芯片的制程是65nm，核心頻率750 MHz，并集成256KB的L2緩存。芯片亦內(nèi)置GeForce核心，支持OpenGL ES 2.0和Direct3D Mobile標(biāo)準(zhǔn)。APX 2500屬于ARM架構(gòu)，其低耗電設(shè)計(jì)，使手提電話可以長(zhǎng)時(shí)間播放音樂(lè)或720p高清晰視頻。

NVIDIA于2008年12月發(fā)布了一支持Intel Atom處理器的NVIDIA ION移動(dòng)平臺(tái)，主打輕薄桌面型市場(chǎng)，可以支持DirectX 10的內(nèi)置顯示芯片性能是原本英特爾官方945GSE芯片組的5倍，讓迷你電腦也有部分游戲能力；它解決了Atom沒(méi)有GPU、無(wú)法支持高清、無(wú)法支持?jǐn)?shù)字顯示、屏幕需小于10英寸、不能支持更高版本的Windows Vista的種種問(wèn)題。

在2011年1月5日的CES上，NVIDIA宣布將自行設(shè)計(jì)與研發(fā)基于ARM架構(gòu)的臺(tái)式機(jī)CPU，產(chǎn)品代號(hào)Project Denver（丹佛項(xiàng)目）。其處理器能夠支持微軟下一代桌面系統(tǒng)Windows 8以及行動(dòng)平臺(tái)上的Android、蘋(píng)果iOS等。相比之前的Tegra產(chǎn)品，NVIDIA總裁表示這將是一顆高度定制的“ARM兼容CPU”，即獲得ARM指令集授權(quán)，但處理器微架構(gòu)則完全由NVIDIA自行開(kāi)發(fā)，以更高性能面向桌面、服務(wù)器甚至高性能計(jì)算市場(chǎng)。屆時(shí)NVIDIA基于ARM架構(gòu)的處理器將在市場(chǎng)上與英特爾和AMD等基于X86架構(gòu)的處理器直接競(jìng)爭(zhēng)。

在GTC 2020主題演講中，NVIDIA宣布推出Ampere架構(gòu)，是NVIDIA 8代GPU歷史上最大的一次性能飛躍，包含超過(guò)540億個(gè)晶體管，是有史以來(lái)最大的7納米芯片，性能相較于前代提升了高達(dá)20倍，

NVIDIA A100是首款基于NVIDIA Ampere架構(gòu)的GPU，全新多實(shí)例GPU技術(shù)可將單個(gè)A100分割成最多七個(gè)獨(dú)立的GPU來(lái)處理各種計(jì)算任務(wù)；第三代NVIDIA NVLink技術(shù)能將多個(gè)GPU組合成一個(gè)巨型GPU；全新結(jié)構(gòu)化稀疏功能將GPU的性能提高一倍。具有TF32的第三代Tensor Core核心 ，其功能經(jīng)過(guò)擴(kuò)展后加入了專(zhuān)為AI開(kāi)發(fā)的全新TF32，它能在無(wú)需更改任何代碼的情況下，使FP32精度下的AI性能提高多達(dá)20倍。此外，Tensor Core核心現(xiàn)在支持FP64精度，相比于前代，其為HPC應(yīng)用所提供的計(jì)算力比之前提高了多達(dá)2.5倍。

2020年，NVIDIA發(fā)布軟件開(kāi)發(fā)包NVIDIA Maxine。