ollama

Ollama 是一个开源的本地大语言模型（LLM）运行框架，旨在简化在个人电脑或本地服务器上下载、运行和管理各类开源大模型（如 Llama、Phi、Qwen、Gemma 等）的过程。它提供命令行接口与轻量级 API，支持 macOS、Linux 和 Windows（通过 WSL），无需复杂配置即可快速启动模型进行推理、对话或集成开发。

软件优势

1. 一键拉取与运行模型：通过 ollama run llama3 等简单命令即可下载并启动预优化模型。

2. 本地离线运行：所有模型均在设备端执行，保障数据隐私与网络独立性。

3. 轻量高效：内置模型量化与内存优化机制，对中低配硬件友好。

4. 开放可扩展：支持自定义 Modelfile 构建专属模型，兼容 GGUF 格式。

5. 开发友好：提供 RESTful API 与多种语言 SDK（如 Python、Go），便于嵌入应用。

使用教程

1. 安装：访问官网 ollama.com 下载对应系统安装包，或使用终端命令一键安装（如 macOS 使用 brew install ollama）。

2. 启动服务：安装后运行 ollama serve（后台自动启动，通常无需手动执行）。

3. 运行模型：在终端输入 ollama run mistral（或其他模型名），首次运行将自动下载并进入交互式对话界面。

4. 创建自定义模型：编写 Modelfile 文件，使用 ollama create mymodel -f Modelfile 构建并运行。

5. 集成调用：通过 curl http://localhost:11434/api/chat 或 Python 的 requests 库调用本地 API。

更新日志

Ollama 持续保持高频迭代，近期重要更新包括：v0.3.x 版本增强 Windows 原生支持与 GPU 加速（CUDA/NVIDIA）；新增模型库搜索功能（ollama list 与 ollama search）；优化 Mac Apple Silicon 芯片适配与内存占用；引入更细粒度的模型参数控制（如 num_ctx、num_gqa）；API 接口增加流式响应与工具调用（Tool Calling）实验性支持。详细变更请参考 GitHub 官方仓库的 Releases 页面。