AWS正式推出SageMaker無服務器推理服務

AWS在re:Invent 2021大會中發(fā)布的機器學習SageMaker無服務器推理（SageMaker Serverless Inference）服務，現(xiàn)在已經(jīng)正式上線。用戶可以使用該服務快速部署機器學習模型，執(zhí)行推理工作負載，而不需要配置和管理底層基礎設施。

當用戶在SageMaker部署模型時，只需要選擇無服務器選項，SageMaker就會根據(jù)推理請求的數(shù)量，自動配置、擴展和縮減運算容量，AWS提到，用戶僅需要針對處理推理請求的運算容量，和資料量支付費用，不需要對空閑時間付費，因此很適合用于間歇性或是不可預測流量的應用程序。

從re:Invent 2021大會發(fā)布以來，AWS持續(xù)更新SageMaker無服務器推理，加入了對Python SDK的支持，抽象模型部署來簡化開發(fā)者的工作，同時支持模型注冊表，讓開發(fā)者可以集成無服務器推理端點和MLOps工作流程。AWS也加大每個端點并行觸發(fā)的上限，從50提升到200，使得用戶可以將SageMaker無服務器推理用于高流量工作負載。