Groq是一款面向低延迟大模型推理的 AI 芯片、云 API 与推理基础设施平台。
Groq 以自研 LPU 推理引擎和 GroqCloud API 为核心,专注解决大模型应用中的推理速度、延迟和吞吐瓶颈。它不是模型训练平台,而是为聊天、Agent、代码和实时 AI 应用提供快速推理服务。
开发者可通过 GroqCloud 调用多种开放模型,在需要流式响应、低延迟交互和高并发推理的产品中获得更快的生成体验。

LPU 推理引擎:使用专门面向语言模型推理的芯片架构来降低生成延迟。
GroqCloud API:通过云 API 调用可用模型,适合快速接入聊天和 Agent 应用。
低延迟流式输出:面向实时对话、语音助手和交互式应用提供快速 token 生成。
开放模型支持:支持多种主流开放权重模型的推理调用。
适合 AI 应用开发者、实时交互产品和需要低延迟模型推理的技术团队。通过 GroqCloud 可以快速调用开放模型,尤其适用于聊天机器人、代码助手、语音助手和 Agent 等对响应速度敏感的应用,也适合需要高吞吐生成能力的业务场景。
Groq官网地址:https://groq.com/
相关文章
热门下载
相关下载
相关AI
一款集成AI建站、多语言内容管理与搜索优化的外贸建站平台。
一款把GitHub Issue衔接到代码实现、评审与发版的开源工具。
一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。