在 OCI 上以幾十億次運算量訓練大型語言人工智能模型

使用人工智能（AI）和機器學習（ML）的核心目的是通過建立訓練有素的模型來理解大量數據。就像運動員在即將到來的比賽中需要訓練以獲得極佳表現一樣，ML 模型也必須經過訓練才能在部署到生產中時獲得非常好的表現。訓練有素的模型可以在計算基礎設施上快速、經濟高效地提供準確結果，并對失敗有較小的容忍度。

大型語言模型（LLM）使用海量數據，例如在互聯網上部署的數年數據。它從這些信息中學習，以各種方式幫助我們，包括總結文本、檢測犯罪、編寫軟件以及以下示例用例：

• 與目前市場上廣泛使用的聊天機器人相比，能夠更有效地回答復雜的客戶問題并解決客戶疑問的聊天機器人

• 人工智能助手，可幫助研究人員發(fā)現新的見解。例如，生物學家可以從發(fā)表的材料和公共衛(wèi)生記錄中獲取數據，幫助發(fā)現新的療法

• 專業(yè)助理，可幫助律師準備和分析案情，幫助營銷人員優(yōu)化文案和細分客戶，幫助銷售經理確定新的增長點，幫助開發(fā)人員編寫軟件，等等。

以 ChatGPT 為例

ChatGPT 由人工智能研發(fā)實驗室 Open AI 開發(fā)，是一種流行的人工智能，可以對一般問題生成人類可讀的回答。由于它的多功能性，ChatGPT 可以發(fā)展當今的搜索引擎，為搜索結果補充更有洞察力的答案。

Superclusters 以及在大語言模型訓練中的角色

使用大型語言模型訓練人工智能應用（如ChatGPT）需要能夠處理海量數據的強大計算基礎設施集群。這些 Superclusters 包含數百或數千個由高性能網絡結構連接的裸機計算實例。這些計算實例共同提供了大規(guī)模處理訓練數據集的能力。Meta AI 估計，隨著模型變得越來越大、越來越復雜、適應性越來越強，這些 Superclusters 必須能夠每秒執(zhí)行五萬億次操作。

甲骨文云基礎架構（OCI）的人工智能基礎架構已經能夠幫助 Adept 和 SoundHound 等客戶處理大量數據，以訓練大型語言模型。我們對 OCI 的集群網絡進行了優(yōu)化，以使用 RDMA over converged ethernet （RoCE）支持超低延遲。您可以通過我們的 Oracle 網站了解更多有關我們的大規(guī)模 Superclusters 網絡以及使其成為可能的工程創(chuàng)新的信息。

下圖展示了具有 RDMA 網絡連接的 Superclusters。每個 GPU 節(jié)點有 8 個 NVIDIA A100 Tensor Core GPU，與網絡結構的全雙工連接總計 1.6Tbps（1600Gbps）。網絡結構被設計為無阻塞，并為所有主機提供全分段帶寬。（分段帶寬是指網絡任意兩部分之間可用的 minimum 帶寬）。

OCI 與 AWS 以及谷歌云平臺（GCP）的比較

訓練大型語言模型是極其耗費網絡資源的。訓練這些模型需要在成百上千臺獨立服務器之間協調和共享信息。OCI GPU 通過使用 RDMA 的簡單、高性能以太網連接。OCI 提供的帶寬是 AWS 和 GCP 的 4-16 倍，這反過來又減少了 ML 訓練的時間和成本。三家供應商公布的帶寬分別為

• OCI 的 BM.GPU.GM4.8 實例： 1600 Gbps

• AWS 的 P4D 實例： 400 Gbps

• GCP 的 A2 實例：  100 Gbps

OCI 的集群網絡技術得到了 Adept、MosaicML 和 SoundHound 等尖端 AI/ML 創(chuàng)新企業(yè)的驗證。在發(fā)布時，AWS 和谷歌云平臺使用的互連技術類型并不完全透明：Infiniband、以太網或其他技術。與OCI的簡單性相比，AWS EFA 等增強功能在配置和軟件方面造成了復雜性，在用于 ML 訓練之前必須進行徹底測試。通過保持互連的簡單和快速，OCI 為訓練大型語言模型提供了非常好的環(huán)境。

想要了解更多？

OCI 提供云工程師支持，用于訓練大型語言模型和大規(guī)模部署人工智能。要了解有關 Oracle 云基礎架構功能的更多信息，請聯系我們或查看以下資源：

AI 基礎架構（https://www.oracle.com/cn/ai-infrastructure/）

OCI 計算： GPU 實例（https://www.oracle.com/cloud/comput）