本地AI完全指南①:我把ChatGPT退了,一年省2400——为什么越来越多人把大模型搬回家

本地AI完全指南①:我把ChatGPT退了,一年省2400——为什么越来越多人把大模型搬回家

title: 本地AI完全指南①:我把ChatGPT退了,一年省2400——为什么越来越多人把大模型搬回家?
tags: 本地AI,私有大模型,Ollama,DeepSeek,大模型部署,AI隐私,离线AI,本地部署大模型,DeepSeek本地部署
category: 人工智能

本地AI完全指南①:我把ChatGPT退了,一年省2400——为什么越来越多人把大模型搬回家?

上个月我退订了用了两年多的 ChatGPT Plus。不是因为用不起那每月145块钱——是因为我终于想明白了一件事:我的数据,凭什么免费送给别人的服务器?


上周五晚上十一点,我需要处理一份内部检修报告,涉及地铁轨道沉降的历史数据。

打开 ChatGPT —— 犹豫了三秒,关掉了。

这份数据如果上传到云端,性质上够我写一份检查。然后我打开终端,敲了四个单词:

ollama run deepseek-r1:7b

五秒后模型开始跑。断网、免费、数据没离开这台机器。生成的报告第二天直接交上去了。

这就是我花了两个月把本地部署大模型这件事从头捋到尾的原因。这个系列10篇,从"为什么要搞"到"生产级部署",篇篇能跑,不废话。如果你还在犹豫要不要把 DeepSeek 本地部署到自己的电脑上,这篇帮你把账彻底算清楚。


目录

  1. 先说结论:本地AI到底值不值得搞?
  2. 云端AI的3个痛点——哪个戳中了你?
  3. 本地AI能做什么?
  4. 你的电脑能跑吗?硬件门槛说清楚
  5. 主流方案横评:4条路线怎么选
  6. 算笔经济账:本地 vs 云端一年差多少
  7. 这个系列会带你走到哪?
  8. 常见疑问快答

1. 先说结论:本地AI到底值不值得搞?

值得,但不是所有人都需要立刻搞。

先给你一张表,三秒对号入座:

你的情况建议
每天用AI超过30分钟,且涉及隐私内容立刻搞,一年还能省2400块
用ChatGPT/文心一言主要做翻译、写邮件可以等等
是程序员/技术爱好者,想折腾必须搞
电脑是5年前的老机器先看第4节硬件门槛,8GB内存就够
公司明文不让用云端AI处理业务数据立刻搞,这是你唯一合法合规的选择

📊 建议配图:一张决策流程图,帮助读者快速判断自己属于哪类人群。


2. 云端AI的3个痛点——哪个戳中了你?

痛点1:隐私——你说的每一句话,都躺在别人服务器上

用 ChatGPT、文心一言、通义千问时,你发的每一条消息都存在别人那里:

  • 聊了什么?服务器知道
  • 上传了什么文档?服务器存着
  • 什么时间、什么IP?有完整日志

对企业数据、个人隐私文档来说,这就是在别人电脑上写日记。OpenAI 自己都承认用用户对话训练模型——后来虽然给了关闭选项,但那个开关藏在设置菜单第六层,你找到了吗?

2024年三星电子就发生过员工将内部代码粘贴到ChatGPT被开除的事件。这不是危言耸听。

本地AI的好处:所有数据在你自己硬盘上,拔掉网线照样跑,没有第三个人能看到你的对话。

痛点2:费用——"免费"的东西,账单在别处

你以为是免费的,实际上你交的是"数据税"。抛开隐私不说,光算真金白银:

使用方式月费用年费用
ChatGPT Free(免费版)¥0¥0,但GPT-4o有额度、高峰期排队
ChatGPT Plus$20(约¥145)¥1740
Claude Pro$20(约¥145)¥1740
文心一言专业版¥49.9¥598.8
通义千问最高配¥99¥1188
API调用(中度使用)¥50-200¥600-2400

本地AI呢?只交电费。

跑一个7B模型,CPU模式功耗约65W,一小时电费约5分钱。一年算下来不到50块。差价 ≈ 请自己吃一顿好的,还剩一千多。

痛点3:断网 = 断AI

出差高铁过隧道信号没了?公司内网把AI网站封了?API突然涨价三倍?服务商融资烧完了?

云端AI的问题就一个:它不在你手里。

本地AI没有这些毛病。打开终端,一行命令,模型就在你眼前跑起来。不需要网络、不需要账号、不需要登录、不需要看任何人的脸色。


3. 本地AI能做什么?

别以为本地部署大模型只能"聊天",它能干的事比你想象的多得多:

实用场景清单

场景具体用法推荐模型
智能问答替代ChatGPT日常对话,写报告、改文章DeepSeek-R1、Qwen2.5
文档处理批量摘要、翻译、分类Qwen2.5-14B
代码助手写代码、查Bug、写注释、重构DeepSeek-Coder、Qwen2.5-Coder
知识库喂自己的文档,AI基于你的资料回答任意模型 + RAG
数据分析分析Excel、CSV,生成图表和分析报告Qwen2.5 + Python
多模态看图说话、OCR识别、图文理解Qwen2-VL、LLaVA

💡一句话总结:上面所有功能,全部免费、全部离线、全部不泄露数据。这就是本地部署大模型的核心价值。

📊 建议配图:一张思维导图/脑图,展示本地AI的完整能力地图。


4. 你的电脑能跑吗?硬件门槛说清楚

这是被问最多的问题,先说结论:不需要显卡,8GB内存就够。

硬件配置对照表

你的配置能跑的模型体验如何
CPU + 8GB内存1.5B~7B(量化版)能用,速度3-8 token/s,日常问答足够
CPU + 16GB内存7B~14B(量化版)速度5-10 token/s,流畅
集显 + 16GB内存7B~14B比纯CPU快20%-30%
独显4GB + 16GB7B~14B速度20-40 token/s,丝滑
独显8GB + 32GB14B~32B速度30-60 token/s,很爽
独显12GB+ + 32GB32B~70B(量化)速度40-80 token/s,企业级体验

我第一台跑 DeepSeek 本地部署的机器就是纯CPU + 8GB内存的办公本,跑 DeepSeek-R1 7B 量化版,速度约5 token/s —— 不算快,但日常问答、写报告、看文档完全够用。

你的机器能跑哪个模型?

傻瓜公式:

所需内存 ≈ 模型参数量 × 量化系数 4-bit量化(Q4_K_M,最常用): 7B模型 ≈ 需要4.5GB内存 14B模型 ≈ 需要9GB内存 32B模型 ≈ 需要20GB内存 70B模型 ≈ 需要40GB内存

⚠️ 如果内存不够,Ollama会自动用硬盘当虚拟内存,但速度会断崖式下跌。建议模型大小不超过物理内存的70%。

📊 建议配图:硬件配置 → 能跑模型 → 体验效果的对照信息图。


5. 主流方案横评:4条路线怎么选

目前跑本地大模型主要有4条路:

方案难度灵活性推荐指数适合谁
Ollama⭐(最简单)⭐⭐⭐⭐⭐⭐⭐⭐⭐所有人,首选
LM Studio⭐⭐⭐⭐⭐⭐⭐⭐⭐想要图形界面的用户
GPT4All⭐⭐⭐⭐⭐⭐⭐纯CPU、低配老机器
vLLM / llama.cpp⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐开发者、追求极致性能

我的建议:95%的人选 Ollama 就够了

理由很简单:

  1. 安装一行命令搞定(下篇演示)
  2. 模型管理像 Docker 一样顺手:ollama pull下载,ollama run启动
  3. 自带 API 服务,方便接 OpenWebUI 等各种前端
  4. 社区活跃,文档全中文,教程满天飞
  5. Windows/Mac/Linux 全平台通吃

这个系列后续所有文章全部基于 Ollama + DeepSeek 展开。下一篇就从零带你装上。


6. 算笔经济账:本地 vs 云端,一年差多少?

以"每天用AI 1小时"为基准,来算明账:

项目云端方案本地方案
订阅费¥145/月(ChatGPT Plus)¥0
API调用费¥50-200/月¥0
电费¥0¥4/月(CPU模式)
硬件投入¥0¥已有电脑,无额外投入
年总成本¥1740-2400¥48

💰一年省下 ≈ ¥1700-2400。相当于白捡一块2TB固态硬盘,或者一张不错的显卡。

当然要说实话:本地7B-14B模型的效果跟 GPT-4 目前还有差距。但日常80%的使用场景——问答、翻译、摘要、代码辅助、文档处理——已经够用了。而且差距在缩小,不是扩大。去年同期的本地模型还基本不能用,今年已经能打80分了。


7. 这个系列会带你走到哪?

从入门到生产级部署,完整路线图:

#主题你会学到
1为什么要在本地跑AI(本篇)建立认知、选对方案
2Ollama 安装完整指南3分钟跑起第一个模型
3模型选型:哪些值得下,哪些是坑不浪费硬盘和时间
4OpenWebUI:给本地AI套上ChatGPT同款界面像用ChatGPT一样用本地AI
5本地知识库搭建(RAG)让AI"记住"你所有的文档
6本地AI当代码助手VS Code + 本地模型,替代Copilot
7Ollama 进阶配置远程访问、并发、安全加固
8实战项目:个人知识助手完整项目,step by step
9实战项目:批量文档处理Python + 本地AI自动化流水线
10生产级部署检查清单从玩具到工具的最后一步

每一篇都附带完整配置命令 + 我亲自踩过的坑。复制粘贴就能跑。

📊 建议配图:系列路线图做成时间线/路线图风格的视觉图。


8. 常见疑问快答

Q:本地AI需要联网吗?
A:不需要。模型下载好之后,关掉WiFi照样跑。飞机上、地铁里、机房内网——能用电脑的地方就能用。

Q:本地AI会泄露数据吗?
A:不会。所有计算在你自己的CPU/GPU上完成,数据连出机器的门都找不到。

Q:真没显卡也能跑?
A:能。就是慢一点(3-8 token/s),但打字的速度本来也就这么快——它生成比你读得快就够了。后续第9篇会专门讲GPU加速方案。

Q:跟ChatGPT差多少?
A:日常问答、翻译、摘要:差距不大,普通用户未必分得出来。复杂推理、创意写作:GPT-4 目前还是强。但注意——这个差距在快速缩小,去年这个时候本地模型基本没法用。

Q:苹果M系列芯片能跑吗?
A:能,而且体验极好。M1/M2/M3 的统一内存架构跑大模型有先天优势,Ollama 原生支持 Apple Silicon。我同事的 M1 MacBook Air 跑 DeepSeek 本地部署,速度比我的办公本快三倍。

Q:手机能跑吗?
A:手机直接跑体验一般,不推荐。但可以电脑跑模型 → 手机远程访问,第7篇细讲。


我是 Ai_easygo,白天在上海地铁工务维保部门修轨道,晚上在家折腾大模型。

把 DeepSeek 本地部署到自己的破电脑上这件事,我踩过的坑、烧过的脑,全写进这个系列了。

如果你也受够了"上传中……"那个进度条、也担心过数据安全、也想把AI真正变成自己的工具——

👉点个关注,下一篇手把手带你 3 分钟装上 Ollama,跑起你人生中第一个本地大模型。

下一期的画面是这样的:

curl-fsSLhttps://ollama.com/install.sh|shollama run deepseek-r1:7b

两行命令,一个回车,你的电脑里就多了一个完全属于你的 AI。

——

💬评论区来聊聊(也方便我判断后续写什么方向):

👍还在用云端AI,观望中—— 你最担心本地AI的什么问题?
👎已经跑起来了—— 你用的是哪个模型?体验如何?
💬公司/学校不让用云端AI—— 你卡在哪一步?我看看能不能帮上忙。

🏷️发布时请添加标签:「本地AI」「私有大模型」「Ollama」「DeepSeek」「大模型部署」「本地部署大模型」「DeepSeek本地部署」,以提升推荐曝光。


系列导航

#文章主题状态
01为什么要把大模型搬回家✅ 本篇
02Ollama 安装完整指南:3分钟跑起第一个模型⏳ 下一篇
03模型选型指南:哪些值得下,哪些是坑📋 计划中
04OpenWebUI:给本地AI套上ChatGPT同款界面📋 计划中
05本地知识库 RAG 搭建实战📋 计划中
06VS Code + 本地模型:打造免费Copilot📋 计划中
07Ollama 进阶:远程访问、并发、安全📋 计划中
08实战项目:搭建个人知识助手📋 计划中
09实战项目:批量文档处理自动化📋 计划中
10从玩具到工具:生产级部署检查清单📋 计划中