返回教程列表
本地部署Ollama教程

本地部署 AI 一键包教程:小白也能跑大模型

发布于 2026-09-06阅读约 10 分钟

想在自家电脑上跑 AI,断网也能用、对话不上传、还不要会员费?这篇用最简单的方式教你本地部署大模型。

先看你的电脑够不够格

  • 内存:16GB 起步(32GB 更舒服);
  • 显卡:不强制。有独立显卡更快:显存 8GB 可跑 7B 模型,16GB 跑 14B,24GB+ 跑 32B;
  • 硬盘:预留 20GB 以上空间(模型文件较大);
  • 系统:Windows 10/11、macOS、Linux 都行。

没有独显也能跑,只是用 CPU 推理速度慢一些,选小模型(1.5B-7B)即可。

方案一:LM Studio(纯图形界面,小白首选)

  1. 打开官网下载安装:https://lmstudio.ai
  2. 打开软件,搜索框输入模型名,比如 Qwen3 或 DeepSeek-R1;
  3. 选择合适大小(8GB 显存选 7B 量化版,纯 CPU 选 1.5B/3B),点 Download;
  4. 下载完切到聊天界面,选中模型,直接开聊——和网页版体验一样,数据全在本地。

方案二:Ollama(轻量后台 + 任意前端)

  1. 官网下载安装:https://ollama.com
  2. Windows 打开终端(或 macOS 打开终端),输入命令即可自动下载并运行:
ollama run qwen3
ollama run deepseek-r1:7b
  1. 想配好看的聊天界面,可以搭配 Chatbox(https://chatboxai.app)或 LobeChat,连接本地 Ollama 即可。

推荐入门模型

模型参数规模特点官方来源
Qwen3 系列1.8B-32B阿里开源,中文好、全能Ollama/LM Studio 内搜 qwen3
DeepSeek-R1 蒸馏版1.5B-14B推理强,适合解题编程搜 deepseek-r1
Llama 系列8B/70BMeta 开源,英文生态大搜 llama

常见问题

下载太慢怎么办? 国内网络从官方源下模型可能慢,可以用魔搭社区(ModelScope,阿里官方模型站)下载模型文件后导入 LM Studio:https://modelscope.cn

提示内存不足? 换更小参数或更高量化等级(Q4 量化版体积小、速度快,效果损失很小)。

安全提醒:模型和软件只从上述官网、官方 GitHub Release 或 ModelScope 下载。网盘流传的"一键破解整合包"可能捆绑木马或篡改模型,不要用来处理敏感信息。

本地部署适合谁

  • 注重隐私,对话不想上传云端;
  • 想免费无限次使用;
  • 开发者想折腾 API 和二次开发;
  • 电脑配置还可以的折腾党。

日常追求最省心、最强效果,还是直接用豆包/DeepSeek 网页版;本地部署的魅力在于"完全属于你自己"。