Ollama

工具简介

Ollama 是目前最流行的本地大模型运行工具，通过简单的命令行指令即可拉取并运行数十种开源模型，包括 Llama 3、Qwen、Mistral、Phi、Gemma 等。内置 REST API，与主流开发工具生态深度集成。

核心功能

• 一行命令运行模型：ollama run qwen2.5 即可开始对话
• 模型库：官方维护数百个预量化模型，按需拉取
• REST API：兼容 OpenAI 格式，轻松接入 VS Code 插件、Open WebUI 等
• 多并发：支持同时运行多个模型请求

访问说明

官网及模型下载可直连，完全开源免费。支持 Mac（Apple Silicon 原生加速）、Linux、Windows。

适合人群

开发者、研究者，以及需要将本地 LLM 集成进工作流或产品的工程师。