企業(yè)用Gemini Pro模型API上架，Google更要打造從端到云全套GAI工具鏈

公有云巨頭紛紛瞄準(zhǔn)企業(yè)生成式AI開發(fā)需求，推出了各自的GAI技術(shù)架構(gòu)和開發(fā)組件。緊接在11月底AWS披露GAI產(chǎn)品戰(zhàn)略之后，Google也在12月初，發(fā)布了最新也是他們最強(qiáng)的LLM模型Gemini，隔周更在GCP的AI開發(fā)組件Vertex AI上發(fā)布了企業(yè)用的Gemini Pro版模型預(yù)覽版，開放企業(yè)免費(fèi)試用。Google同步推出Web版AI Studio開發(fā)工具，也將自家MLOps開發(fā)平臺(tái)Vertex AI轉(zhuǎn)為聚焦企業(yè)GAI開發(fā)的LLMLOps平臺(tái)，要涵蓋開發(fā)、部署到運(yùn)維更多模型生命周期階段的需求。

Google在12月初正式發(fā)布了Gemini，包括高端Ultra版，中端Pro和低端Nano版模型。Gemini Ultra將可以同時(shí)分辨和理解文本、圖片和聲音，也可以用來分辨和解釋幾種熱門開發(fā)語言，包括Python、Java、C++。Google推出Gemini模型時(shí)就強(qiáng)調(diào)，與其他知名大型語言模型如GPT、LLama最大差異是將提供一個(gè)移動(dòng)設(shè)備的小參數(shù)模型Nano版Gemini。

Google先在Vertex AI平臺(tái)上架了Gemini Pro模型API預(yù)覽版，這是Gemini三款模型中的中端款。又細(xì)分為兩款A(yù)PI，目前只支持文本輸入和文本生成的Gemini Pro，最大可以輸入32K個(gè)Token，支持38種語言。另外，也提供了Gemini Pro Vision端點(diǎn)，可接受文本和圖片輸入，但只能輸發(fā)文本，Google在記者會(huì)上實(shí)測展示時(shí)，則可以直接輸入一段視頻，讓模型來判讀視頻中的元素。Google用“模型端點(diǎn)”而非另一款模型來形容第二款A(yù)PI，意味著，這是同一個(gè)Gemini Pro模型，只是多發(fā)布圖片功能API來區(qū)隔版本。

Vertex AI上已經(jīng)可以選擇Google新版LLM模型Gemini Pro版本，也可使用Gemini Pro Vision版本，可直接上傳一段視頻，讓模型來分析視頻中的元素。

Gemini Pro從現(xiàn)在開始提供企業(yè)和開發(fā)者免費(fèi)測試，2024年才開始正式收費(fèi)，輸入和輸出都要計(jì)價(jià)，將按輸入文本每千字0.00025美元或每張圖0.0025美元，而輸出則是每千字0.005美元。

而Gemini Pro的SDK目前支持了數(shù)據(jù)科學(xué)主流語言Python、兩大移動(dòng)平臺(tái)Android的Kotlin和iOS應(yīng)用的Swift，另外還包括了Ｗeb前后端開發(fā)主流JavaScript和Node.js語言。從Pro版SDK所支持開發(fā)語言種類更可以反映出，Gemini Pro格外注重未來的移動(dòng)AI應(yīng)用開發(fā)需求。

除了自家新模型之外，Vertex AI的模型花園中，也一并增加了文本生成圖片的Imagen 2模型，可以生成更擬真的圖片。另外也將在數(shù)周后發(fā)布了一個(gè)以Med-PaLM 2模型為主打造的醫(yī)療GAI模型產(chǎn)品集稱為MedLM，中國醫(yī)藥大學(xué)附設(shè)醫(yī)院將是亞洲第一家采用這款醫(yī)療GAI模型的醫(yī)學(xué)中心。用醫(yī)療數(shù)據(jù)微調(diào)過的Med-PaLM 2以85分高分通過了美國醫(yī)生執(zhí)照考試，可以達(dá)到醫(yī)療?？漆t(yī)生的回答水準(zhǔn)。

除了新模型上架化，Google也正式推出了免費(fèi)的Web版GAI開發(fā)工具AI Studio，（前身是MakerSuite），默認(rèn)就是使用Gemini Pro或Gemini Pro Vision來開發(fā)AI應(yīng)用，每分鐘可以免費(fèi)使用60次模型請(qǐng)求。實(shí)測AI Studio，目前已經(jīng)可以輸入中文，也能產(chǎn)生繁體中文的內(nèi)容，不過，AI Studio上的Gemini Pro模型目前只支持到2023年8月的數(shù)據(jù)。

Google在今年5月開始大幅升級(jí)機(jī)器學(xué)習(xí)開發(fā)平臺(tái)Vertex AI，更聚焦提供各種生成式AI的開發(fā)工具。在這個(gè)平臺(tái)的模型花園清單上，提供了超過130種通過Google企業(yè)級(jí)安全品質(zhì)審查的ML模型，包括了開源和第三方提供的商用模型。在模型定制化上，這個(gè)平臺(tái)提供了多項(xiàng)微調(diào)方法，例如提示設(shè)計(jì)、LoRA微調(diào)、人類反饋增強(qiáng)學(xué)習(xí)RLHF等。

隨著這次新模型發(fā)布同時(shí)，Google也宣布了多項(xiàng)Vertex AI更多新功能，從模型增強(qiáng)，與外部數(shù)據(jù)或API的互動(dòng)，多模型的協(xié)作框架，自動(dòng)化模型評(píng)比，更多GAI控制機(jī)制等，逐漸從模型開發(fā)，延伸到了模型部署，運(yùn)維管理等LLM模型的MLOps流程。

Vertex AI增強(qiáng)工具主要提供三大功能，包括強(qiáng)化搜索常用的嵌入檢索機(jī)制，設(shè)置配置就能快速構(gòu)建的RAG（檢索增強(qiáng)生成）工具，也可以串聯(lián)外部的矢量數(shù)據(jù)庫，圖片或影音轉(zhuǎn)換成矢量后可以存儲(chǔ)到矢量數(shù)據(jù)庫，通過Vertex AI使用Gemini來實(shí)現(xiàn)多模態(tài)的嵌入檢索，可使用GCP托管或第三方的矢量數(shù)據(jù)庫。Vertex AI將提供到18種不同的GAI控制或負(fù)責(zé)任管控機(jī)制，例如可以自動(dòng)引用連接檢查，企業(yè)基礎(chǔ)正確性比較，或像是不宜用語和不雅圖片過濾等。

此外，Google也將陸續(xù)提供3項(xiàng)模型與外部環(huán)境互動(dòng)的能力，8月先宣布了預(yù)覽版插件機(jī)制（Extension），可以連接到外部數(shù)據(jù)源或是外部應(yīng)用，讓生成式AI模型可以取得即時(shí)的外部資訊，甚至可以代表模型操作者的身份，在授權(quán)后取得個(gè)性化的AP數(shù)據(jù)。后續(xù)，Google將添加“函數(shù)調(diào)用”（Function Calling）能力，可以將Gemini生成的結(jié)果自動(dòng)導(dǎo)出成一只API或一只函數(shù)程序。企業(yè)可以在這只功能性API中再次優(yōu)化模型輸出的結(jié)果。

另外一項(xiàng)將添加的功能是調(diào)度（Orchestration）多模型協(xié)同運(yùn)行的能力，Vertex將可以用來調(diào)度多個(gè)模型互相運(yùn)行。例如在手機(jī)上用Nano版模型接收用戶口語的問題，先將問題聲音轉(zhuǎn)成文本后，再拋轉(zhuǎn)到云計(jì)算的Pro版模型來生成回答，然后再拋轉(zhuǎn)給用戶。Google將提供一套調(diào)度框架，可以用來串聯(lián)和連接不同模型共同產(chǎn)生更好的回應(yīng)內(nèi)容。不過，Google還沒披露這套調(diào)度框架的發(fā)布進(jìn)程。

在這次新版Gemini預(yù)覽版發(fā)布同時(shí)，Google也披露了Vertex AI平臺(tái)多項(xiàng)模型評(píng)估和部署新功能，模型自動(dòng)評(píng)估矩陣從單一模型評(píng)估，添加加了多模型評(píng)比功能Auto SxS，可以一對(duì)一自動(dòng)比較兩個(gè)模型對(duì)指定任務(wù)的執(zhí)行結(jié)果，例如進(jìn)行不同模型的A/B測試之用，或是比較微調(diào)前后，或相同模型但不同參數(shù)大小的效果。當(dāng)模型部署上線后，可以關(guān)注每一次回應(yīng)從輸入到輸出的速度來了解模型性能。

Google新推出的AI Studio與Vertex AI采用了相同的數(shù)據(jù)安全和隱私管控機(jī)制，都可以支持顧客自帶密鑰、VPC控制、訪問透明度記錄和IAM權(quán)限管控。Google Cloud首席執(zhí)行官Thomas Kurian在發(fā)布記者會(huì)上強(qiáng)調(diào)，企業(yè)數(shù)據(jù)只有企業(yè)自己可以訪問，其他任何人，就連Google都無法看到模型輸入、輸出或每一項(xiàng)人類反饋到企業(yè)模型的數(shù)據(jù)。

今年3月，Google發(fā)布了NoCode的AI工具Vertex AI Studio，主要提供兩種常見企業(yè)AI應(yīng)用的快速開發(fā)，包括了“搜索”和“對(duì)話”應(yīng)用，這兩項(xiàng)應(yīng)用將會(huì)在2024年初開始支持Gemini模型。目前搜索功能只能針對(duì)單一數(shù)據(jù)源查詢，2024年時(shí)將添加一項(xiàng)“混合搜索”（Blended Search）應(yīng)用，只需要輸入一個(gè)搜索指令，就能用Gemini來搜索不同數(shù)據(jù)源上的多模態(tài)數(shù)據(jù)，包括企業(yè)內(nèi)部私有的結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)，還有外部的公開數(shù)據(jù)。

Google預(yù)計(jì)在2024年初正式推出Gemini模型后，會(huì)集成到更多服務(wù)中，包括了Google企業(yè)級(jí)高端搜索服務(wù)將開始支持多模態(tài)嵌入矢量搜索。而Duet AI for Workspace明年初也會(huì)引進(jìn)Gemini模型，可以對(duì)分析內(nèi)容提供多模態(tài)的高端理解能力。