Groq

工具简介

Groq 自研 LPU（Language Processing Unit）芯片，专为大语言模型推理优化，可提供远超 GPU 方案的推理速度。平台托管 Llama、Mistral、Gemma 等主流开源模型，开发者可通过 API 以极低延迟调用。

核心功能

• 超高推理速度，输出延迟低至毫秒级
• 支持 Llama 3、Mixtral、Gemma 等主流开源模型
• 与 OpenAI API 兼容，迁移成本极低
• 提供 GroqCloud 在线 Playground 供免费体验
• 适合实时对话、流式输出等对延迟敏感的场景

访问说明

官网与 API 需要代理访问；免费计划提供每日限额，付费方案支持更高并发与配额。

适合人群

追求低延迟推理的开发者、需要快速原型验证的团队，以及希望降低 AI 推理成本的企业。