AI Gateway正式發(fā)布：用于管理和擴展生成式AI工作負載的統(tǒng)一界面

在2024年4月的Developer Week期間，我們宣布Workers AI正式發(fā)布，今天，我們很高興地宣布AI Gateway也正式發(fā)布。自2023年9月生日周期間推出測試版以來，我們已代理了超過5億個請求，現(xiàn)在已準備好供您在生產(chǎn)中使用它。

AI Gateway是一個AI操作平臺，提供統(tǒng)一的界面來管理和擴展生成型AI工作負載。從本質上講，它充當您的服務和推理提供程序之間的代理，無論您的模型在哪里運行。只需一行代碼，您就可以解鎖一組專注于性能、安全性、可靠性和可觀察性的強大功能，您可以將其視為AI操作的控制平面。這僅僅只是一個開始——我們制定了路線圖，將在不久的將來推出一系列令人興奮的功能，任何想要從AI工作負載中獲得更多收益的組織都會使用AI Gateway。

為什么要添加代理以及為什么選擇Cloudflare？

AI領域發(fā)展迅速，似乎每天都有新的模型、提供商或框架。鑒于如此高的變化頻率，很難對AI進行跟蹤，當您使用多個模型或提供商時則尤為如此。這是Cloudflare推出AI Gateway的驅動因素之一——我們希望為您的所有模型和工具提供一個一致的控制平面，即使它們每天都在發(fā)生變化，也可從同一個控制平面進行控制。

我們已經(jīng)與許多構建AI應用程序的開發(fā)人員和組織進行了交談，有一點很明確：他們希望圍繞AI操作提供更多的可觀察性、控制力和工具。這是許多AI提供商所缺乏的，因為他們非常關注模型開發(fā)，而不是平臺功能。

為什么選擇Cloudflare作為您的AI Gateway？從某些方面來說，這是天作之合。在過去10多年里，我們通過運行全球最大的網(wǎng)絡之一來幫助構建更好的互聯(lián)網(wǎng)，為世界各地的客戶提供性能、可靠性和安全性——Cloudflare被近20%的網(wǎng)站用作反向代理。憑借我們的專業(yè)知識，這感覺就像是一個自然的進展：只需更改一行代碼，我們就可以幫助您提高AI應用程序的可觀察性、可靠性和控制能力，所有這些都在一個控制平面中，而您則可以重新專注于構建。

下面是使用OpenAI JS SDK時的一行代碼更改。歡迎查看我們的文檔，了解其他提供商、SDK和語言的情況。

目前包含哪些功能？

與客戶交談后，我們明確了一點，即我們需要先關注一些基本功能，然后再轉向一些更高級的功能。雖然我們對將要推出的功能非常期待，但以下是GA版本目前提供的主要功能：

分析：聚合來自多個提供商的指標。查看流量模式和使用情況，包括一段時間內(nèi)的請求數(shù)、令牌數(shù)和成本。

實時日志：在構建過程中深入了解請求和錯誤。

緩存：啟用自定義緩存規(guī)則并使用Cloudflare的緩存來處理重復請求，而不是訪問原始模型提供商API，從而幫助您節(jié)省成本并減少延遲。

速率限制：通過限制應用程序接收的請求數(shù)量來控制應用程序的擴展，以控制成本或防止濫用。

支持您最喜歡的提供商：截至2024年5月中旬，AI Gateway已經(jīng)原生支持Workers AI以及10個最受歡迎的提供商，包括Groq和Cohere。

通用端點：如果出現(xiàn)錯誤，可以通過定義到另一個模型或推理提供程序的請求回退來提高恢復能力。

后續(xù)計劃

我們從開發(fā)人員那里得到了很多反饋，一些顯而易見的功能即將推出，例如持久日志和自定義元數(shù)據(jù)——這些基礎功能將有助于在未來釋放真正的魔力。

但讓我們退后一步，分享一下我們的愿景。在Cloudflare，我們相信我們的平臺作為一個統(tǒng)一的整體比作為由各個部分組成的集合更為強大。將這種理念應用到我們的AI產(chǎn)品，則意味著它們應該易于使用、組合和協(xié)調(diào)運行。

讓我們想象一下接下來的旅程：您最初加入Workers AI是為了使用最新的開源模型進行推理；接下來，您啟用AI Gateway，以獲得更好的可見性和控制，并開始存儲持久日志；然后您想要開始調(diào)整推理結果，于是您利用持久日志、我們的提示管理工具和內(nèi)置評估功能；現(xiàn)在您正在做出分析決策以改進推理結果，隨著每一次數(shù)據(jù)驅動的改進，您都想要獲得更多；因此，您實施我們的反饋API，幫助注釋輸入/輸出，本質上是構建結構化數(shù)據(jù)集；此時，您離可以立即部署到我們?nèi)蚓W(wǎng)絡的一鍵微調(diào)只有一步之遙，而且還不止于此-隨著您繼續(xù)收集日志和反饋，您可以不斷重建微調(diào)適配器，以便為最終用戶提供最佳結果。

目前這只是一個“完美的構想“，但這也正是我們對AI Gateway和整個AI套件的未來的設想。您應該能夠從最基本的設置開始，逐步進入更高級的工作流程，全程無需離開Cloudflare的AI平臺。最后，它看起來可能與上面描述的不完全一樣，但可以確信的是我們將致力于提供最好的AI操作工具，將Cloudflare打造成AI的最佳平臺。

如何開始？

AI Gateway已經(jīng)可以在所有用戶計劃中啟用。如果您尚未使用AI Gateway，請查看我們的開發(fā)人員文檔并立即開始使用。AI Gateway現(xiàn)已免費提供核心功能，只需一個Cloudflare帳戶和一行代碼即可開始使用。未來，我們還將提供更多高級功能，例如持久日志記錄和秘密管理（但需付費使用）。