按：英偉達本周公布了最新季報。比起超預期的財務數據，電話會議才是真正的看點：AI的2024怎么走？“算力沙皇”的權杖，指明了潮水的方向。以下為電話會紀要內容。

第三季度又是創紀錄的季度。營收達181億美元，環比增長34%，同比增長超過200%。

遠高于我們160 億美元的預期。從數據中心開始，基于Hopper Tensor Core GPU架構的 NVIDIA HGX 平臺的持續增長，以及InfiniBand和網絡，推動數據中心收?創紀錄地達到145 億美元，環比增長1%，同比增長279%。

NVIDIA HGX與InfiniBand本質上是AI超級計算機和數據中心基礎設施的參考架構。一些最令人興奮的生成式AI 應用程序都是在 NVIDIA 上構建和運行的，包括 Adobe Firefly、ChatGPT、Microsoft 365 Copilot、Zoom AI Companion等。

我們的數據中心計算收?比去年增長了四倍，網絡收?幾乎增長了兩倍。對訓練和推理大型語?模型、深度學習、推薦系統和生成式 AI 應用的基礎設施的投資正在推動對NVIDIA加速計算的廣泛強勁需求。推理現在是NVIDIA AI計算的主要工作負載。

消費互聯網公司和企業在第三季度推動了驚人的環比增長，約占我們數據中心收?的一半，并且超過了總體增長。

Adobe、Databricks、Snowflake 和 ServiceNow等企業軟件公司正在向其平臺添加AI副駕駛和助理。

本季度我們數據中心收?的另一半。所有超大規模CSP 以及全球范圍內一系列新的GPU專用CSP的需求都很強勁，這些CS正在快速增長，以應對AI領域的新市場機遇NVIDIA H100 Tensor Core GPU實例現在幾乎在每個帶有實例的云中都可用需求量很大。今年每個季度我們都大幅增加供應，以滿足強勁的需求，并預計明年將繼續這樣做。

我們還將有更廣泛、更快的產品發布節奏，以滿足不斷增長和多樣化的人工智能機會。本季度末，美國政府宣布了一套針對中國和其他市場（包括越南和某些中東國家）的新出口管制法規。這些法規要求我們的許多產品獲得出口許可證，包括我們的Hopper和Ampere 100和800系列以及其他幾種產品。在過去的幾個季度中，我們對中國和其他受影響目的地的銷售源自目前需要遵守許可要求的產品，一直貢獻了數據中心收?的約20% 至25%。

我們的訓練集群包括超過10,000 個H100 GPU，比6月份增加了3倍，反映出非常?效的擴展。?效擴展是生成人工智能的關鍵要求，因為法學碩士每年都在以一個數量級增長。Microsoft Azure 在幾乎相同的集群上取得了類似的結果，展?了NVIDIA AI在公共云部署中的效率。目前，網絡業務的年收?運行率已超過10億美元。

我們的增長是由對InfiniBand的特殊需求推動的，該需求同比增長了五倍。InfiniBand 對于獲得培訓 LLM 所需的規模和性能至關重要。微軟上周明確指出了這一點，強調 Azure使用超過29,000 英里的InfiniBand 線路，足以繞地球一圈。

我們正在將NVIDIA網絡擴展到以太網領域。我們全新的Spectrum-X端到端以太網產品采用專為AI打造的技術，將于明年第一季度推出。

與傳統以太網產品相比，Spectrum-X可以實現AI通信網絡性能提?1.6 倍。我還要介紹一下我們的軟件和服務產品的最新情況，我們已經開始看到這些軟件和服務產品的出色采用。我們有望以10億美元的經常性軟件支持和服務產品年化收?結束今年。我們看到了中期增長的兩個主要機會，即我們的DGX云服務和我們的NVIDIA AI企業軟件。

游戲收?達28.6 億美元，環比增長15%，同比增長超過80%，重要的返校購物季需求旺盛，NVIDIA RTX 光線追蹤和AI技術現在價格低至299美元。我們為游戲玩家和創作者帶來了有史以來最好的陣容。即使在PC市場表現低迷的背景下，游戲數量也比新冠疫情前的?平翻了一番。

ProViz的收?為4.16億美元，環比增長 10%，同比增長108%。NVIDIA RTX是專業設計、工程和模擬用例的首選工作站平臺，而人工智能正在成為強大的需求驅動力。早期應用包括用于醫療保健中的AI成像的IMP以及智能空間和公共部?中的邊緣AI。我們推出了基于 NVIDIA RTX、Ada Lovelace、Generation GPU 和 ConnectX、SmartNIC 的全新桌面工作站系列，其 AI處理、光線追蹤和圖形性能是前幾代產品的2倍。

我們宣布在 Microsoft Azure 上提供兩項用于汽車數字化的新Omniverse云服務：虛擬工?模擬引擎和自動駕駛汽車模擬引擎。轉向汽車領域。收?為2.61億美元，環比增長3%，同比增長4%，主要得益于基于NVIDIA DRIVE Orin SoC的自動駕駛平臺的持續增長以及全球 OEM 客戶的AI座艙解決方案的不斷增長。我們擴大了與富士康的汽車合作伙伴關系，納?了我們的下一代汽車 SoC NVIDIA Drive Thor。

富士康已成為電動汽車的ODM。我們的合作伙伴關系為富士康提供了標準的AV傳感器和計算平臺，供其客戶輕松構建最先進、安全的軟件定義汽車。現在，我們將把其余部分的損益表GAAP毛利率擴大到 74%，非 GAAP毛利率擴大到 75%，這得益于數據中心銷售額的增加和凈庫存儲備的減少，其中包括1個百分點的收益釋放此前預留的Ampere GPU架構產品相關庫存。

運營費用增長12%，非 GAAP運營費用增長10%，主要反映了薪酬和福利的增加。

Q&A環節

Q1：您認為就生成型人工智能市場的出貨量而?，當前處于怎么樣的位置？因為當我只看你們數據中心的軌跡時，明年數據中心支出將接近 30%。那么您正在關注哪些指標？我們在AI這個市場中處于什么位置？

A1：從歷史上看，過去幾個季度，中國和其他一些受影響的目的地約占我們數據中心收?的 20%至25%。我們預計，隨著進?第四季度，這一數字將大幅下降。

出口管制將對我們的中國業務產生負面影響，即使從長遠來看，我們也無法清楚地了解這種影響的嚴 重程度。不過，我們正在努力擴展我們的數據中心產品組合，以可能提供不需要許可證的新的符合法規的解決方案。

這些產品可能會在未來幾個月內上市。然而，我們預計他們的貢獻占第四季度收?的百分比不會很大或有意義。

生成式人工智能是我們幾?年來?過的最大的軟件和硬件TAM 擴展。其核心，主要是基于檢索的計算方法，幾乎所有你所做的事情都是從某個地方的存儲中檢索出來的，現在已經得到了增強，添加了生成方法，并且它幾乎發生了變化一切。

您可以看到?本到?本、?本到圖像、?本到視頻、?本到 3D、?本到蛋?質、?本到化學品。這些是過去由人類處理和輸?的東西，現在這些是生成方法。我們訪問數據的方式已經改變。它曾經基于顯式查詢。

因此，我們對與 SAP 和 Dropbox 以及您將聽到的許多其他合作伙伴所做的工作感到非常興奮。真正有影響力的領域之一是軟件行業，該行業價值約一萬億美元，在過去幾?年里一直在構建?動使用的工具。現在出現了一個全新的軟件部分，稱為副駕駛和輔助。

這些工具不需要?動使用，而是有副駕駛來幫助您使用它。因此，當然，我們將繼續這樣做，而不是許可軟件，但我們還將聘請副駕駛和助理來幫助我們使用該軟件。我們將把所有這些副駕駛和助?連接到人工智能團隊中，這將是現代版本的軟件、現代版本的企業業務軟件。因此，軟件和軟件完成方式的轉變正在驅動底層的硬件。

現在我們有了更好的方法，稱為加速計算，您可以節省一個數量級的能源，可以節省一個數量級的時間，或者可以通過使用加速來節省一個數量級的成本。因此，如果您愿意的話，加速計算正在將通用計算轉變為這種新方法。新型數據中心進一步增強了這一點。這就是您剛才談到的傳統數據中心，我們大約占其中的三分之一。

但是有一種新的數據中心類型，這種新的數據中心類型與過去的數據中心不同，過去的數據中心運行著大量應用程序，由許多使用相同基礎設施的不同租戶的人使用，并且該數據中心存儲了大量?件。

這些新的數據中心是很少的應用程序，即使不是一個應用程序，也基本上由一個租戶使用。它處理數據，訓練模型，生成人工智能，我們將這些新的數據中心稱為人工智能工?。我們看到幾乎每個國家都在建造人工智能工?。

因此，如果你看看我們在擴張、向這種新計算方法的過渡中所處的位置，這是你在大型語?模型初創公司、生成人工智能初創公司和消費互聯網公司中看到的第一波浪潮。

我們正在加大力度。與此同時，在這種情況不斷增加的同時，您會看到我們開始與企業軟件公司合作，他們希望構建聊天機器人和副駕駛，并提供幫助以增強他們平臺上的工具。你會看到專?針對GPU的 CSP在世界各地涌現，他們真正致力于做一件事，那就是處理人工智能。你會看到主權 人工智能基礎設施、人民和國家現在認識到他們必須利用他們的技術。擁有自己的數據，保留自己 的數據，保留自己的?化，處理這些數據，并開發自己的人工智能，你在印度看到了這一點。

因此，我認為，隨著生成式人工智能浪潮在每個行業、每個公司、每個地區傳播，你會看到新的發展。因此，我們正處于這種拐點、這種計算轉變的開始。

Q2：我想詢問有關業務網絡方面的問題。如何看待以太網的演進？

A2：我們的網絡業務已達到10億美元以上，而且規模還將進一步擴大。我們最近在我們的網絡業務中添加了一個新的網絡平臺。但絕大多數專用的大型AI工?都在InfiniBand上進行標準化。其原因不僅是因為它的數據速率和延遲，而且它在網絡中移動流量的方 式非常重要。

有了InfiniBand，有了軟件定義的網絡，我們就可以做到控制、自適應路由、性能隔離和噪聲隔離，當然更不用說InfiniBand的數據速率和低延遲以及非常低的開銷了，這是很自然的 InfiniBand 的一部分。因此，InfiniBand 不僅僅是一個網絡，它還是一個計算結構。我們在結構中加?了許多軟件定義的功能，包括計算。

例如，最近我們談到了我們正在創建的模型之一，它被稱為Shipnemo，我們正在構建許多其他模型。我們將在公司內部創建數?、數百個自定義人工智能模型。

我們所做的就是發明了這個新平臺，它擴展了以太網，不會取代以太網，它 100% 兼容以太網，并且針對東西向流量（計算結構所在的位置）進行了優化。它通過 BlueField 的端到端解決方案以及我們的頻譜交換機添加到以太網中，使我們能夠執行 InfiniBand 中的一些功能（不是全部， 而是部分功能），并且我們取得了出色的結果。

我們進?市場的方式是與已經提供我們的計算解決方 案的大型企業合作伙伴一起進?市場。因此，惠普、戴爾和聯想擁有 NVIDIA AI 堆棧、NVIDIA AI 企業軟件堆棧，現在他們與BlueField集成，并捆綁銷售其Spectrum交換機。

他們將能夠憑借龐大的銷售隊伍和龐大的經銷商網絡，為世界各地的企業客戶提供完全集成的（如果你愿意的話）至少端到端優化的人工智能解決方案。

Q3：我想知道您是否可以多談談 Grace Hopper，您如何看待利用某些微處理器的能力，如何 將其視為TAN expander，以及您認為使用 Grace Hopper與更傳統的H100應用程序相比有哪些應用 程序？

A3：Grace Hopper 已投?生產，目前正在大批量生產。我們預計，明年，隨著我們在?性能計算和人工智能基礎設施方面取得的所有設計勝利，我們將非常快地從我們的第一個數據中心CPU發展到價值數?億美元的產品線。

這對我們來說將是一個非常龐大的產品線。它能夠創建同時具有非常快的內存和非常大的內存的計算節點。在向量數據庫或語義搜索領域，稱為 RAG（檢索增強生成），這樣您就可以讓生成式AI模型能夠在生成響應之前引用專有數據或事實數據。

這樣，生成模型一方面仍然能夠自然地與您交互，另一方面能夠引用事實數據、專有數據或特定領域的數據、您的數據，并且能夠與上下?相關相關并減少幻覺。例如，對于Grace Hopper 來說，這個特定的用例確實非常棒。它還為那些真正想要擁有不同于x86的CPU的客戶提供服務。也許是歐洲超級計算中心或歐洲公司想要建立自己的ARM生態系統并想要建立整個堆棧，或者是CSP決定轉向ARM，因為他們自己的定制CPU是基于ARM的。

Q4：想問一下你們的收?可?度。您認為數據中心能夠發展到2025年嗎？

A4：絕對相信數據中心能夠在 2025年之前實現增長。這有幾個原因。我們正在大幅擴大供應。我們已經擁有世界上最廣泛、最大、最有能力的供應鏈之一。人們認為GPU是一個芯?，但 HGX H100（Hopper HGX）有 35,000個零件。它重 70 磅。其中?個籌碼是Hopper 的。它是一臺超級計算機，因此測試超級計算機的唯一方法是使用另一臺超級計算機。

因此，我們HGX供應鏈的各個方面都很復雜，而我們這里擁有的出色團隊確實令人難以置信地擴展了該供應鏈。更不用說，我們所有的HGX都與NVIDIA網絡連接，而網絡、收發器、NIC、電纜、交換機，其復雜性令人難以置信。

正如我之前提到的，我們有新客戶。不同的地區正在建立 GPU 專家云，來自世界各地的主權人工智能云，因為人們意識到他們無法承擔將自己國家的知識、國家?化出口給其他人然后將人工智能轉售給他們的費用。

他們必須，他們應該，他們有技能，當然，與我們結合，我們可以幫助他們做到這一點，建立他們的國家人工智能所以他們要做的第一件事就是創建他們的人工智能云，國家人工智能 云。您還看到我們現在正在成長為企業。

企業市場有兩條路徑。第一條路當然是現成的AI當然還有ChatGPT，令人難以置信的現成的AI還有其他的。還有專有的人工智能，因為ServiceNow和SAP等軟件公司以及許多其他公司無法承擔將其公司的智能外包給其他人的費用。

我們有一項名為AI Foundry的新服務，我們利用NVIDIA的功能為他們提供服務。下一個是企業構建自己的自定義人工智能、自己的自定義聊天機器人、自己的自定義規則。而且這種能力正在全世界范圍內傳播。我們為該市場提供服務的方式是使用整個系統堆棧，其中包括我們的計算、網絡和交換機，運行我們稱為NVIDIA AI Enterprise的軟件堆棧，并通過我們的市場合作伙伴HP、Dell、聯想等獲取該軟件堆棧。

因此，我們看到生成式人工智能的浪潮從初創公司和通信服務提供商開始轉向消費者互聯網公司，轉向企業軟件平臺，轉向企業公司。最終，你們看到我們花費大量精力的領域之一與工業生成人工智能有關，這就是NVIDIA AI 和 NVIDIA Omniverse的結合之處，這是一項非常非常令人興奮的工作。

Q5：您提到您將在未來 幾個月內推出符合法規的產品，但對第四季度收?的貢獻應該相對有限。這是一個時間問題嗎？它是否會成為4月份及以后數據中心重新加速和增長的來源？或者價格點對未來收?的貢獻是 否應該相對有限？然后上周發布的AI Foundry服務公告，盈利模式將如何運作？主要是服務和軟件收?嗎？我們應該如何考慮長期機會？這將是微軟獨有的，還是您也有計劃擴展到其他合作伙伴？

A5：關于我們可以向中國客戶提供的潛在新產品的問題。設計和開發這些新產品都 是一個重要的過程。正如我們所討論的，我們將確保我們也與美國政府充分討論我們對這些產品的 意圖。考慮到我們本季度的狀況，本季度已經過去幾周了，我們需要一些時間來仔細研究并與客戶討論他們 對我們擁有的這些新產品的需求和愿望。

展望未來，無論是中期還是長期，很難說我們可以與美國政府合作生產什么，以及我們中國客戶的利益是什么。因此，我們仍然專注于為中國客戶找到適當的平衡，但目前還很難說。

AI Foundry 面臨著巨大的機遇，而且意義重大。首先，每個公司都有自己的核心智力。它構成了我們的公司。我們的數據，我們的領域專業知識。就很多公司而?，我們創造工具，世界上大多數軟件公司都是工具平臺，而這些工具今天被人們使用。

在未來，它將被我們雇傭的一大堆人工智能增強的人們使用。這些人工智能平臺必須?向世界， 你就會看到，我們已經宣布了一些，SAP、ServiceNow、Dropbox、Getty，還有許多其他平臺即將推出。因是因為他們擁有自己的專有人工智能，他們想要自己的專有人工智能，他們無法承擔 外包情報和分發數據的費用，也無法將?輪交給其他公司來為他們構建人工智能。

我們有幾樣東西對于代工?來說是非常重要的，就像臺積電是一家代工?一樣。你必須擁有 人工智能技術。如您所知，我們擁有令人難以置信的深度人工智能能力、人工智能技術能力。其次，你必須擁有最佳實踐，已知的實踐，通過發明人工智能模型來處理數據的技能，以創建有護欄、微調等等的人工智能。

第三件事是你需要工?，這就是 DGX Cloud。我們的人工智能模型稱為人工智能基礎。如果你 愿意的話，我們用于創建 AI 的 CAD 系統稱為 NEMO，它們在 NVIDIA 的工?（我們稱為 DGX Cloud）上運行。

我們在云端、本地和任何地方都擁有龐大的安裝基礎。而且它是安全的、安全地修補、不斷修補、優化和支持。我們稱之為 NVIDIA AI Enterprise。NVIDIA AI Enterprise 的價格為每位GP每年4,500 美元。這就是我們的商業模式。我們的商業模式基本上是一個許可證。然后，我們的客戶憑借該基本許可證， 可以在此基礎上構建他們的盈利模型。在很多方面，批發變成了零售。

他們可以針對每個實例擁有一個訂閱許可證基礎，也可以針對每個使用情況進行訂閱。他們可以 采取很多不同的方式來創建自己的商業模式，但我們的方式基本上就像軟件許可證，就像操 作系統一樣。因此，我們的業務模式是幫助您創建自定義模型，然后在 NVIDIA AI Enterprise 上運行這些自定義模型。

Q6：我想知道如果沒有中國的限制，第四季度的指導值會更?嗎？或者 您的供應是否受到限制，只能將本可以運往中國其他地方的貨物轉運。我想沿著這些思路，如果您能讓 我們了解您目前在數據中心的交貨時間以及像當前的情況，它是否會降低這些交貨時間，因為 您有一些零件可以立即發貨嗎？

A6：是的，在某些情況下，我們每個季度都在努力改善我們 的供應。我們在每個季度的增長方面做得非常扎實，這決定了我們的收?。但由于我們對第四季度的展望中沒有中國，我們仍在努力改善我們的供應，并計劃在明年繼續增長，并為此努力。

Q7：也許你可以花一點時間討論大模型在推理方面的演進以及你的公司如何定位于此而不是較小的模型推理。其次，直到一兩個月前，我還從未真正收到過任何關于人工智能工作負載的數據處理部分的問題。也許您可以談談 CUDA 如何加速這些工作負載

A7：我們可以創建 TensorRT-LLM，因為 CUDA 是可編程的。如果 CUDA 和我們的 GPU 不具備如此可編程性，我們就很難以現在的速度改進軟件堆棧。同一 GPU 上的 TensorRTLLM 無需任何人接觸任何東西即可將性能提?兩倍。

當然，最重要的是，我們的創新步伐如此之快，H200 將其提?了兩倍。因此，我們的推理成本在大約一年的時間內降低了四倍。所以這真的很難跟上。現在，每個人都喜歡我們的推理引擎的原因是因為我們的安裝基礎。20 年來，我們一直致力于我們的客戶群。

我們擁有的安裝基礎不僅在每個云中都是最大的，而且每個企業系統制造商都可以提供。幾乎每個行業的公司都在使用它。無論何時您看到 NVIDIA GPU，它都會運行我們的堆棧。它在架構上是兼容的。

NVIDIA 的平臺穩定性確定性是每個人首先在我們的基礎上構建以及每個人首先在我們的基礎上進行優化的原因。您所做的所有工程和所有工作以及您在 NVIDIA基礎上構建的所有技術發明都會為使用我們GPU的每個人帶來好處。

我們擁有如此龐大的安 裝基礎，云中有數以百萬計的GPU，來自人們PC的1億個 GPU，幾乎世界上的每個工作站，它們在架構上都是兼容的。因此，如果您是一個推理平臺并且正在部署推理應用程序，那么您基本上是一個應用程序提供商，并且作為軟件應用程序提供商，您正在尋找大型安裝基礎。

數據處理，在訓練模型之前，您必須整理數據。你必須推斷數據，也許你必須用合成數據 來擴充數據，所以你處理數據，清理數據，對?數據，規范化數據。所有這些數據都不是以字節和兆字節為單位來衡量的，而是以太字節和拍字節為單位來衡量的。在數據工程之前、 在進行培訓之前進行的數據處理量非常大。

它可能代表您最終創建數據驅動的機器學習服務所需工作量的 30%、40%、50%。所以數據處理只 是一個重要的部分。我們加速 Spark，我們加速 Python。我們剛剛做的最酷的事情之一是cuDF pandus。

Tandas 是世界上最成功的數據科學框架，PANDAS 現在由 NVIDIA CUDA 加速， 開箱即用，無需一行代碼。因此，加速度確實非常驚人，人們對此感到非常興奮。PANDAS 的設計只 有一個目的，只有一個目的，即真正用于數據科學的數據處理。NVIDIA CUDA為您提供了這一切。

Q8：我們如何看待你們的研發、運營支出增長前景，以支持更積極、更擴展的未來路線圖，但更 重要的是，團隊正在做什么來管理和推動執行所有這些復雜性？

A8：首先，我們加快執行速度有 一個根本原因，就是因為它從根本上降低了成本。TensorRT LLM 和H200 的結合將我們客戶的大型模型推理成本降低了四倍。

因此，我們希望加快我們的路線圖。第二個原因是擴大生成式人工智能的覆蓋范圍世界上數據中心配置的數量。每種云中都有NVIDIA的?影，但沒有一種云是相同的。NVIDIA 與每家云服務提供商合作，但他們的網絡控制平面安全狀況都不相同。

我們現在正在將所有這些產品推向市場。因此，復雜性當然包括所有的技術、細分市場和速度。它包括這樣一個事實：我們在架構上與其中每一個都兼容。它包括我們創建的所有特定于域的庫。這就是為什么每家計算機公司都能不假思索地將 NVIDIA 納?其路線圖并將其推向市場的原因。

原因是因為有市場需求。醫療保健有市場需求。當然，人工智能、?融服務、超級計算、量?計算都有市場需求。我們擁有特定領域庫的市場和細分市場列表非常廣泛。最后，我們為數據中心提供了端到端的解決方案。InfiniBand 網絡、Ethernet、 x86、ARM，幾乎提供了解決方案、技術解決方案和軟件堆棧的所有排列組合。

這意味著擁有最多數量的生態系統軟件開發人員、最大的系統制造商生態系統、最大和最廣泛的分銷合作伙伴網絡，以及最終最大的覆蓋范圍。這當然需要大量的能量。但真正將它們結合 在一起的是我們幾?年前做出的一個偉大決定，即一切在架構上都是兼容的。當我們開發一種 在一個GPU上運行的領域特定語?時，它會在每個GPU上運行當我們針對云優化 TensorRT 時，我們也會針對企業進行優化。

當我們做一些事情帶來新功能、新庫、新功能或新開發人員時，他們會立即從我們的所有影響力中 受益。因此，這種與架構兼容的原則已經持續了幾?年，這也是NVIDIA仍然非常非常?效的原因之一。