亚马逊 SageMaker AI 推出兼容 OpenAI API 的实时推理端点-人工智能-PHP中文网

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

近日，亚马逊 SageMaker AI 正式发布对 OpenAI 兼容 API 的实时推理端点支持。用户仅需调整端点 URL，即可直接通过 OpenAI SDK、LangChain 或 Strands Agents 等主流工具调用部署在 SageMaker AI 上的模型，无需修改客户端逻辑、无需手动实现 SigV4 签名封装，也无需重写任何调用代码。此次升级为 SageMaker AI 推理端点新增了 `/openai/v1` 接口路径，全面支持标准的聊天补全（chat completions）请求，并原生返回符合 OpenAI 格式的响应，包括完整的流式（streaming）输出能力。所有基于标准 SageMaker AI API 和 SDK 创建的端点及推理组件，均已默认启用该 OpenAI 兼容接口。只需替换 URL，现有应用即可实现零改造接入。 SageMaker AI 提供强大的端到端 AI 代理构建能力，支持用户在自有基础设施上编排多阶段 AI 工作流——例如借助 Strands Agents 或 LangChain 构建复杂代理链。这些代理可继续沿用熟悉的 OpenAI 接口发起模型调用，而实际推理则完全运行于用户自主管理的 GPU 实例之上，兼顾灵活性与数据可控性。更进一步，用户可在同一 SageMaker AI 端点中托管多个异构模型：如通用大模型 Llama、面向垂直场景微调的 Mistral 模型，以及轻量级分类专用小模型——全部均可通过统一的 OpenAI SDK 进行访问与调度。要启用该功能，用户需满足若干基础前提：拥有具备相应权限的 AWS 账户；安装最新版 SageMaker Python SDK 与 OpenAI Python SDK；并将待部署的模型文件预先上传至 Amazon S3 存储桶。此外，SageMaker AI OpenAI 兼容端点采用 Bearer Token 认证机制，SageMaker Python SDK 内置了便捷的 Token 生成工具，显著简化身份验证流程。在具体实践中，用户既可快速部署单模型端点，也可配置推理组件端点以实现多模型共存。借助 OpenAI Python SDK，调用过程简洁直观，仅需几行代码即可完成请求发送与结果获取。这一新特性的上线，大幅降低了 SageMaker AI 与现有 AI 生态系统的集成门槛，为开发者提供了更高性能、更强可控性与更优扩展性的推理服务体验。