离线 AI 助手 AaronKal-ECU/offline-ai-agent

offline-ai-agent

Aaron Mark Kalaji · 2026 年 10 月 27 日

完全由你掌控的私有 AI。模型跑在你自己的硬件上，关键时刻，任何数据都不离开这台机器。

这是我的本地 AI 实验室：一台 Windows PC，配 RTX 3060 显卡，通过 Ollama 运行 Qwen3 8B，由 DeepSeek Harness（DSH）驱动，让它在浏览器里像其他 AI 智能体一样工作。从 2026 年 9 月起，我每天都在用它。

这个仓库包含两部分：

1. 本地 AI 入门指南： 需要准备什么，以及如何在自己的 PC 上跑起模型，全程不需要云。
2. AI 框架与为 AI 构建自定义工具的简要概览，用 DeepSeek Harness 打造一个专用 AI 助手，并配上它自己的自定义工具。

从这里开始： 想在自己的 PC 上跑 AI？→ 安装指南。想看看自定义工具能做什么？→ 自定义助手。

演示： ▶ 机密模式 ▶ 本地 AI 数据清洗器 ▶ 自定义 AI 完整展示及其解决的问题 ▶ 自定义 AI 的其他想法 ▶ 20 秒了解 DeepSeek Harness

机密模式：切换到仅本地模式并询问实时天气

机密模式：助手只切换到本地模型，没有网络访问，所以问它实时天气时，它会说查不了，而不是编一个答案。

大多数想用 AI 的企业都撞上同一堵墙：你不能把客户数据粘进云端聊天机器人。

诊所、会计师事务所、律所，以及任何保存客户记录的人，都有同样的问题。云端 AI 意味着你的数据要送到别人的服务器上，受别人的政策约束，由服务商决定 AI 能做什么、不能做什么。

本地 AI 把这一切反过来：

| | 云端 AI | 你自己的本地 AI |
| 你的数据去哪 | 服务商的服务器 | 哪也不去。留在你的机器上 |
| 思考需要联网 | 需要 | 不需要 |
| 成本 | 订阅费或按 token 计费 | 没有订阅费，只花电费 |
| 谁控制模型 | 服务商（他们可以改动或下架） | 你。它就是你电脑上的一个文件 |
| 谁决定它能做什么 | 服务商的产品团队 | 你，靠构建自己的工具 |

迈入 2027 年，跑 AI 不再需要数据中心，本文记录了我是如何在一台不到 1000 美元的电脑上运行足以替代 ChatGPT 的 AI，跟着做，你也能学会！

而且你不必放弃云端模型。这套方案两者兼用，本地模型 AI 可以处理私密任务或客户数据，同时你还能在同一套系统里接入常用的云端模型（比如 ChatGPT 和 Claude）！

工作原理

flowchart LR
U[You, in the browser] --> H[DeepSeek Harness]
H -->|local requests| O[Ollamalocalhost:11434]
O --> M[Qwen3 8B Q6_K]
M --> G[RTX 3060 12 GB]
H -.->|optional| C[Cloud models]
subgraph Office PC
H
O
M
G
end

三层，全都归你管：

1. 我用的模型： Qwen3 8B，开放权重模型，量化到 Q6_K，刚好塞进 12 GB 显存。它就是磁盘上的一个文件。没人能关掉它，也没人能在你不知情时换掉它。
2. 运行时： Ollama 把模型加载到 GPU，在 localhost 上提供服务，用起来和任何 AI API 一样，只不过「服务器」是你自己的电脑。
3. harness： DeepSeek Harness (DSH) 是智能体层：聊天界面、会话、工具，还有插件系统。把它指向 Ollama，本地模型就会和云端模型一起出现在模型选择器里。

原版 DeepSeek Harness 回答一条提示词

原版 DeepSeek Harness：一条提示词，三次工具调用，一段写好的回答。▶ 观看片段

[!TIP]
刚接触 DeepSeek Harness？ Manolo Remiddi 的 DSH the AI Harness Where Everything Is a Plugin 用大白话讲清了 DSH 是什么、怎么运作，是最好的入门材料。

配置

硬件、模型选型，以及两个 DSH 实例

| 组件 | 规格 |
| GPU | NVIDIA RTX 3060，12 GB 显存 |
| CPU | AMD Ryzen 5 1600（6 核，3.2 GHz） |
| 内存 | 16 GB DDR4-3000 |
| 系统 | Windows 11 Pro |
| 本地模型 | Qwen3-8B-Q6_K |
| 运行时 | Ollama |
| 智能体 harness | DeepSeek Harness (DSH)，两个实例并行 |
| 日常使用 | 自 2026 年 9 月起 |

这是上一代硬件，故意这么选的。模型大小刚好能整个装进 GPU 的 12 GB 显存，一点不溢出到 CPU——一旦溢出，响应速度就会慢到爬。只要装得进显存，CPU 老不老无所谓。

- 为什么选 Q6_K： 质量非常接近全精度模型，还能给 32K–40K token 的上下文留出显存余量。
- 为什么用 no-think 变体： Qwen3 默认先「思考」再回答，很费时间。no-think 标签用同一套权重，只在提示词模板里关掉思考，换来快速、直接的回答。见 configs/ollama。

两个实例，一台机器

| | 个人实验室 | 定制助手（演示） |
| 启动 | ollama launch dsh | dsh --profile demo --port 3081 |
| 默认模型 | 本地 Qwen3 8B | 云端模型，隐私相关任务用本地 Qwen3 |
| 插件 | 原版 DSH | 六个定制插件（品牌定制、对话记录清洗、机密模式……） |

两个实例都跑在同一份 DSH 安装上，共用一个会话存储，但各自启动自己的配置档，所以插件栈互不干扰。个人工作区和面向客户的助手可以住在同一台电脑上。

→ 安装指南：让本地模型跑起来，并连上 DSH。

基于 DeepSeek Harness 打造的自定义 AI 助手

自定义 DSH 审计助手

我在 Eloize 实习期间，基于 DSH 做了一个带品牌、面向特定工作流的版本。Eloize 是一家做 AI 与自动化的机构。我把原版 harness 改造成了审计助手：把「New project」换成「Create audit」，一键上传转录稿，还加了机密模式。它只是我实习期间做的演示，用来展示我的能力，从未部署上线。插件代码也一并附上，方便你了解内部实现。

▶ 助手完整演示，以及它解决的问题

▶ 这个短视频介绍了还能往自定义 harness 上加哪些工具。 看完你就能更清楚这套技术能做什么：针对你遇到的具体问题做自定义工具，再把这些工具直接加进 harness 层的 AI 工作流。

机密模式：仅本地对话

机密模式：仅使用本地模型

开启机密模式：紫色界面，仅用本地模型，不启用任何工具。▶ 观看完整片段

打开开关，助手就变成仅用本地模型：
- 机密会话发出的每个模型请求，都会在 harness 层被改写，转给 Ollama/Qwen3。这里是路由的最终决定点，其他任何设置或插件都无法把请求发到云端。如果这项检查本身出错，请求会直接失败，而不是漏过去。
- 不启用任何工具，系统提示词也精简：模型只能回答，不能执行任何操作。
- 不做后台调用：不自动生成标题，不生成摘要。

→ 自定义 harness 是怎么搭的：配置档、插件层、六个插件，以及它们的测试方式。

转录稿清洗器：在本地模型上剥离文件中的客户数据

上传转录稿，拿回清洗后的副本

上传转录稿，本地模型完成清洗，脱敏副本在对话旁边打开。▶ 观看完整演示

把会议转录稿丢进来，本地模型会先剥掉其中所有身份信息，然后才做其他处理。只保存和使用清洗后的副本。这样你就能用前沿云端模型处理客户的问题，而始终不用把客户数据交出去。

这是一条多轮流水线，因为单靠一次 LLM 处理，隐私保护还不够可靠：

1. 脱敏：Qwen3 逐字改写转录稿，把身份信息替换成固定 token（[NAME]、[COMPANY]、[EMAIL]、[PHONE]、[ADDRESS]、[ACCOUNT]），把说话人姓名替换成 Speaker: / Client: 角色。关闭思考，temperature 0。
2. 完整性检查：如果输出长度不到输入长度的 70%，说明模型丢了内容，此时不保存任何东西。
3. 姓名扫描： 第二次调用让模型以 JSON 形式列出仍然可见的姓名或公司名，JSON 由 schema 强制约束。这些结果，再加上内置的名字列表，会被确定性地清除（最多三轮）。
4. 数字兜底： 用正则把任何连续 8 位以上的数字（模型漏掉的 ABN、账号和电话号码）替换成 [ID]，同时保留 $1,420,000 这类价格不动。
5. 保存： 干净的 .md 文件落到审计文件夹里，并在聊天窗口旁边打开。

完整拆解，含前后对比，以及如何在转录稿之外使用：→ 客户数据清除器

运行框架与自定义 AI 工具

模型本身只能产出文本。运行框架是它周围的代码，让它能做事：向模型描述可用的工具，运行模型请求的工具，把结果回传，循环往复直到任务完成。自己写运行框架插件，就是通用模型变成具体产品的方式，而且你能完全掌控它能碰什么。

→ 运行框架与工具详解

视频与延伸学习

我自己的演示链接在顶部。下面这些是我学习时看的视频。

理解运行框架与 DSH
- You Don't Own Your AI. The Harness Does. by Manolo Remiddi
- AI harness crash course by Google Cloud Tech
- DSH the AI Harness Where Everything Is a Plugin by Manolo Remiddi
- Why DeepSeek Harness Just Became The Fastest Growing Github Repo EVER by Chase AI
- DeepSeek Harness Just Changed AI Forever by Better Stack

安装配置
- Unlimited Claude Code For Free (Runs On Your Computer) by Sharbel A., installing Ollama from 1:46
- Ollama Can Run 45,000 Hugging Face Models (One Command) by CloudYeti
- Qwen 3.8 + DeepSeek Harness Is My New Free Claude Code by Leon van Zyl
- DeepSeek Harness Tutorial: Free & Paid Models with OpenRouter + Real Coding by Sahand

关于

作者 Aaron Mark Kalaji，Edith Cowan University（Perth, WA）软件工程专业学生，Kaltec 创始人。热衷工程、制造与自动化。咨询请联系：kalteclabs@gmail.com

许可证

MIT