想在自家电脑上跑 AI,断网也能用、对话不上传、还不要会员费?这篇用最简单的方式教你本地部署大模型。
先看你的电脑够不够格
- 内存:16GB 起步(32GB 更舒服);
- 显卡:不强制。有独立显卡更快:显存 8GB 可跑 7B 模型,16GB 跑 14B,24GB+ 跑 32B;
- 硬盘:预留 20GB 以上空间(模型文件较大);
- 系统:Windows 10/11、macOS、Linux 都行。
没有独显也能跑,只是用 CPU 推理速度慢一些,选小模型(1.5B-7B)即可。
方案一:LM Studio(纯图形界面,小白首选)
- 打开官网下载安装:https://lmstudio.ai
- 打开软件,搜索框输入模型名,比如 Qwen3 或 DeepSeek-R1;
- 选择合适大小(8GB 显存选 7B 量化版,纯 CPU 选 1.5B/3B),点 Download;
- 下载完切到聊天界面,选中模型,直接开聊——和网页版体验一样,数据全在本地。
方案二:Ollama(轻量后台 + 任意前端)
- 官网下载安装:https://ollama.com
- Windows 打开终端(或 macOS 打开终端),输入命令即可自动下载并运行:
ollama run qwen3
ollama run deepseek-r1:7b- 想配好看的聊天界面,可以搭配 Chatbox(https://chatboxai.app)或 LobeChat,连接本地 Ollama 即可。
推荐入门模型
| 模型 | 参数规模 | 特点 | 官方来源 |
|---|---|---|---|
| Qwen3 系列 | 1.8B-32B | 阿里开源,中文好、全能 | Ollama/LM Studio 内搜 qwen3 |
| DeepSeek-R1 蒸馏版 | 1.5B-14B | 推理强,适合解题编程 | 搜 deepseek-r1 |
| Llama 系列 | 8B/70B | Meta 开源,英文生态大 | 搜 llama |
常见问题
下载太慢怎么办? 国内网络从官方源下模型可能慢,可以用魔搭社区(ModelScope,阿里官方模型站)下载模型文件后导入 LM Studio:https://modelscope.cn
提示内存不足? 换更小参数或更高量化等级(Q4 量化版体积小、速度快,效果损失很小)。
安全提醒:模型和软件只从上述官网、官方 GitHub Release 或 ModelScope 下载。网盘流传的"一键破解整合包"可能捆绑木马或篡改模型,不要用来处理敏感信息。
本地部署适合谁
- 注重隐私,对话不想上传云端;
- 想免费无限次使用;
- 开发者想折腾 API 和二次开发;
- 电脑配置还可以的折腾党。
日常追求最省心、最强效果,还是直接用豆包/DeepSeek 网页版;本地部署的魅力在于"完全属于你自己"。