示例内容
AI PRACTITIONER · BLOG

新手教程:5 分钟搭一个属于你自己的本地知识库助手

用 Ollama + 一个 3B 中文模型 + 你的本地笔记,零成本搭建一个不需要联网的 AI 问答助手。

为什么值得花这 5 分钟

过去半年端侧中文模型质量提升非常快。现在 3B 参数的模型已经能在普通笔记本上做:

  • 摘要一段长文
  • 润色一封邮件
  • 从你的个人笔记里找答案

最大的好处是完全离线,笔记内容不用上传给任何服务商,对工作党特别友好。

三步完成

1. 安装 Ollama

Ollama 官网下载对应系统的版本。Windows / macOS / Linux 都有。

安装完成后,在终端输入:

ollama --version

能看到版本号就说明装好了。

2. 拉一个 3B 中文模型

ollama run qwen2.5:3b

第一次会下载约 2GB 权重,之后就能离线使用。

3. 打开浏览器访问 http://localhost:11434

就能开始对话了。想让它「懂你」就把你的笔记、邮件、项目文档放到一个文件夹,再用任意一个能读本地文件的前端工具(比如 Open WebUI、AnythingLLM)接上去。

一个真实的工作流程

我自己每天用它做三件事:

  1. 整理会议录音 → 把录音转写粘贴进去,让它输出「参会人 + 决议 + 下一步」
  2. 写邮件初稿 → 把简短的要点告诉它,让它扩写成一封完整邮件
  3. 找答案 → 在我的笔记库里搜「去年那个项目我们是怎么处理权限问题的」

你可能会遇到的坑

问题建议
回答质量不如云端模型正常。端侧的定位是『隐私场景能用』,不是『比云端更强』
本地知识库不准确把文档做成分块索引,配合向量检索效果会好很多
跑起来风扇狂转正常。3B 模型在 CPU 上跑也是有压力的

结语

这件事最大的价值不是你多了一个「能用的 AI」,而是你第一次拥有了一个完全属于你自己的 AI

如果你在使用过程中遇到了具体问题,欢迎写邮件或在社交平台上 @我交流。