为什么值得花这 5 分钟
过去半年端侧中文模型质量提升非常快。现在 3B 参数的模型已经能在普通笔记本上做:
- 摘要一段长文
- 润色一封邮件
- 从你的个人笔记里找答案
最大的好处是完全离线,笔记内容不用上传给任何服务商,对工作党特别友好。
三步完成
1. 安装 Ollama
去 Ollama 官网下载对应系统的版本。Windows / macOS / Linux 都有。
安装完成后,在终端输入:
ollama --version能看到版本号就说明装好了。
2. 拉一个 3B 中文模型
ollama run qwen2.5:3b第一次会下载约 2GB 权重,之后就能离线使用。
3. 打开浏览器访问 http://localhost:11434
就能开始对话了。想让它「懂你」就把你的笔记、邮件、项目文档放到一个文件夹,再用任意一个能读本地文件的前端工具(比如 Open WebUI、AnythingLLM)接上去。
一个真实的工作流程
我自己每天用它做三件事:
- 整理会议录音 → 把录音转写粘贴进去,让它输出「参会人 + 决议 + 下一步」
- 写邮件初稿 → 把简短的要点告诉它,让它扩写成一封完整邮件
- 找答案 → 在我的笔记库里搜「去年那个项目我们是怎么处理权限问题的」
你可能会遇到的坑
| 问题 | 建议 |
|---|---|
| 回答质量不如云端模型 | 正常。端侧的定位是『隐私场景能用』,不是『比云端更强』 |
| 本地知识库不准确 | 把文档做成分块索引,配合向量检索效果会好很多 |
| 跑起来风扇狂转 | 正常。3B 模型在 CPU 上跑也是有压力的 |
结语
这件事最大的价值不是你多了一个「能用的 AI」,而是你第一次拥有了一个完全属于你自己的 AI。
如果你在使用过程中遇到了具体问题,欢迎写邮件或在社交平台上 @我交流。