软件教程

Ollama 完全指南：在本地运行 DeepSeek、Llama 等顶级大模型，告别 API 费用

2026年5月20日 10 分钟阅读 Ollama · Local LLM · DeepSeek · Llama · Tutorial

为什么需要本地 LLM？

尽管云端 API 越来越便宜，但本地运行大模型仍有不可替代的优势：数据完全私密（敏感文档不需要离开你的设备）、零延迟（不受网络影响）、零边际成本（一次性投入硬件后无限使用）、离线可用（飞机上、地下室都能用）。

安装 Ollama

Windows：从 ollama.com 下载安装包，一键安装。

macOS：

brew install ollama

Linux：

curl -fsSL https://ollama.com/install.sh | sh

模型选择指南

截至 2026 年 6 月，Ollama 上最值得关注的模型：

  • DeepSeek-V3-0324：综合能力最强，671B 参数（MoE），需高端硬件。社区量化版 Q4_K_M 可在 48GB VRAM 上运行。
  • Llama-4-Maverick：多语言能力出色，128B 参数，在消费级 GPU 上可用 Q4 量化版（24GB VRAM）。
  • Qwen3-235B：中文和代码能力顶级，量化后可在双 RTX 4090 上运行。
  • Phi-4：微软出品，14B 参数，在单张 RTX 3060 上即可流畅运行，性价比极高。

运行模型

ollama run deepseek-v3:latest

常用命令：

ollama list          # 查看已下载的模型
ollama pull llama4   # 下载模型
ollama rm llama4     # 删除模型
ollama show deepseek-v3 --modelfile  # 查看模型配置

自定义 Modelfile

创建自定义模型配置，调整温度和系统提示词：

FROM deepseek-v3:latest
PARAMETER temperature 0.3
PARAMETER top_p 0.9
SYSTEM "You are a helpful coding assistant. Always explain your reasoning."

保存为 Modelfile 后创建：

ollama create my-coder -f Modelfile
ollama run my-coder

使用 API

Ollama 自动提供 OpenAI 兼容的 API（默认 http://localhost:11434）：

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek-v3:latest",
  "prompt": "Explain quantum computing in simple terms",
  "stream": false
}'

集成 RAG

结合 AnythingLLM 或 Open WebUI，可以为本地模型添加文档问答能力。推荐配置：Ollama + Open WebUI + ChromaDB，全部 Docker Compose 一键部署。