本地跑 Qwen / DeepSeek：Ollama 清单与首次跑通

本地跑 Qwen / DeepSeek：Ollama 清单与首次跑通

在本地运行国产大模型时，Ollama 是最直接的入口。Qwen3 系列和 DeepSeek R1 蒸馏系列通过 Ollama 即可完成推理，无需额外 API 接入或二次托管权重。这套清单专为消费级显卡设计，Qwen3 8B 约需 6GB 显存，DeepSeek R1 蒸馏 8B 同样适合入门卡，适合日常摘要、代码补全和轻量聊天场景。

你适用这篇指南的情况是：已有显卡（NVIDIA 或 AMD），想用本地权重跑模型，且不想依赖在线服务。决策路径非常简单——先确认显存，再选量化档位，最后测试基础功能。RooHome 的本地部署路径提供更详细的显存对照和硬件选择建议，助你快速匹配卡型。

Ollama 基础命令与 Qwen3 / DeepSeek 清单

Ollama 的核心指令是 ollama run。安装后直接运行即可，系统会自动下载对应模型文件（无需二次托管）。

Qwen3 各档启动直连示例：

• Qwen3 8B（日常档，约 6GB 显存）：

  ollama run qwen3:8b

• Qwen3 14B（中档，约 12GB 显存）：

  ollama run qwen3:14b

• Qwen3 32B（重度档，约 24GB 显存）：

  ollama run qwen3:32b

DeepSeek R1 蒸馏系列：

• DeepSeek R1 蒸馏 8B（消费卡可跑，约 6GB 显存）：

  ollama run deepseek-r1:8b

• DeepSeek R1 蒸馏 14B（中档，约 12GB 显存）：

  ollama run deepseek-r1:14b

• DeepSeek R1 蒸馏 32B（重度档，约 24GB 显存）：

  ollama run deepseek-r1:32b

更大档位和量化选择直接去 /open-models 获取直链；GGUF 量化档按显存优先选择（如 q4_0 起步）。具体量化档位和参数对照，请查看 RooHome 的 /tools/local-deploy 页面，里面有详细硬件匹配和速度参考。

显存速查表（消费卡友好版）

档位	大致显存需求	适合场景	推荐量化起步
7–8B	6–8GB	日常摘要、补全、轻聊天	q4_0
14–32B	12–24GB	重度本地使用、复杂推理	q4_0
70B+	48GB+ / 多卡	折腾与专用机（需多显卡）	q4_0 或 q3_k_m

精确到你的显卡，建议先在 /tools/local-deploy 查对应卡型的最低需求，再拉取模型。

常见报错与快速排查

• out of memory (OOM)：最常见，降量化档（从 q4_0 开始）。
• 模型拉不动权重：切换 Ollama 的镜像源到阿里云或国内镜像（HF 源可能受限，本站不托管权重）。
• 速度慢于预期：关闭其他占用显存的进程，检查是否因为显存分配问题或系统内存溢出。

风险与边界

使用本地运行时请注意：不要将模型用于任何未经授权的商业用途，否则可能涉及知识产权问题。对不上账的业务（如未经授权训练或部署）会直接面临法律风险；升级 Ollama 或模型版本后，旧硬件配置可能无法适配，出现“必挂”现象。RooHome 仅提供技术参考，非法律意见。

延伸阅读

• 国产模型显存账
• Qwen3.8-Max 选档（API 线）