通用搜索工具包 snow-The/dsh-search

dsh-search

DeepSeek Harness 的通用搜索工具包——不用浏览器、不依赖 GPU，在无头/远程主机上也能跑。

工具

| 工具 | 作用 |
| search_fetch | 不用浏览器抓取 URL，返回提取后的页面文本 |
| search_github | 官方 GitHub 搜索（仓库 / 代码 / issue / commit）——直连 GitHub REST API，不走 Google |
| search_corpus_add | 抓取 + 提取 + 分块 + 向量化 + 索引 URL，写入临时 SQLite 向量语料库 |
| search_corpus_search | 在语料库上做语义 top-k 搜索（float32 向量上的余弦相似度） |
| search_corpus_clear | 清空这个一次性语料库 |

设计

- TypeScript（tsc + esbuild 构建，和 dsh-gitkit 同一套模式；不用 HTTP 框架——原生 node:http）
- 预编译正则、预编译 SQLite 语句、float32 BLOB 向量（每维 4 字节，对比 JSON 字符串）、带重叠的句子感知分块、批量 ARK 向量化（每批 16 条）
- 向量化：有 ARK_API_KEY 时用 ARK doubao-embedding-large（search_code 的语义层；纯本地 BM25+rerank 核心无 key、无网络也能跑）（可用 DSH_BROWSER_EMBED_MODEL 覆盖）；本地 64 维 n-gram 哈希兜底——离线安全
- GitHub token：GITHUB_TOKEN/GH_PAT 环境变量，或 ~/.dsh/.credentials.yaml 里的引用（按行解析）。代码搜索必须认证（GitHub 的规定）。未认证：10 次请求/分钟
- 可选本地 HTTP API，跑在原生 node:http 上：设置 DSH_SEARCH_HTTP_PORT（仅回环）：
- GET /health、GET /fetch?url=、GET /github?q=&type=repo|code|issue|commit、POST /corpus {urls}、GET /corpus/search?q=&k=、DELETE /corpus
- 认证（v0.5.1，必需）： 只设端口已经不够——还要设 DSH_SEARCH_HTTP_TOKEN （≥16 字符），每个请求都必须带 Authorization: Bearer <token>；否则返回 401 + WWW-Authenticate: Bearer。只设端口不设 token = 守护进程拒绝启动 并说明原因，而不是悄悄提供无认证服务。
- 为什么守护进程自己设门禁，而不是挂到官方 ctx.webServer 上： dsh-host-webserver（ctx.webServer）是一个完全没有认证的裸路由 （实测：该包里零处提到 authorization/token/401/403/origin），挂上去不会继承任何防护，还会把 /fetch、/corpus 这类通用路径放到 GUI 端口上，共用 GUI 的绑定范围（可能是 0.0.0.0），并争抢路径空间。
官方的 Host/Origin + 浏览器认证防护确实存在——但在 ctx.connection （dsh-client-connection）里，不在 webserver 里（isTrustedApiRequest → 403， requestRejection → 401）。它针对的是浏览器发起的跨站调用，并且放行没有 Origin 头的请求，所以对这个守护进程的非浏览器调用方来说，它是错误的控制手段：独立回环端口 + bearer token 才是。如果这些路由以后需要从 GUI 的浏览器会话里调用，用 ctx.connection.requestRejection()（见 dsh-busyloop 的
createRequestFence()，用于工作调用的形态）。

GitHub 搜索限定符（直接透传）

lang:ts stars:>100、repo:owner/name、org:google、is:issue is:open —— GitHub 搜索 API 接受什么，就传什么。

搜索方法论

插件内置一套提炼过的搜索方法论，内容摘自 3 本专业书（OCR 识别，逐行标注出处）：

- docs/search-methods.md —— 速查：操作符、引擎架构、调查工作流，以及它们各自对应到哪些工具
- docs/book-osint-techniques.md —— OSINT Techniques 11th：Google/X-Twitter 操作符、平台清单、侦察工作流（110+ 条）
- docs/book-ai-powered-search.md —— AI-Powered Search：信号加权、语义/稠密向量搜索、ANN、量化、RRF 混合排序（138 条）
- docs/book-bellingcat.md —— We Are Bellingcat：核查工作流、地理定位、虚假信息防御（70+ 条）

安装

把 @snow-the/dsh-search 加进配置档的 dependencies 和 dsh.profile.bundles，然后执行 pnpm install 并重启。