复跑多智能体编排的 A/B 评测,核对评分与数据
30.8/100
综合分
1
GitHub 星标
—
npm 周下载
—/5
用户评分
数据截至 2026/10/19 · 周下载取自 npm 全网(含 CI / 镜像),非本站安装数;综合分由星标、活跃度与兼容性检查合成。
安装命令 · 需先装 dsh CLI 引擎
dsh plugin --profile web add weft-audit/weft-evidence该包不可直接 npm 安装,改从 GitHub 源安装(明细见下方安装检查)
状态速览
判定依据:实装验证 · 静态安装检查 · 自动扫描 · 仓库维护状态信任档位:需留意
是什么
dsh 原生插件 · dev
安全吗
本站尚未对该插件做风险分级
暂未覆盖,不等同于无风险
还在维护吗
活跃:最近一次提交在 13 天前
档位由哪些信号合成
本站实装验证(真实安装 L4 覆盖全站;L5 为运行时冒烟或实机截图,覆盖范围小于 L4) · 验证所用 dsh 版本 · 静态安装检查 · 风险分级 · 仓库维护状态。 下方各区块是它的证据明细。
⚠︎ 实装验证未通过(unknown · 2026/10/19) ——可能是验证环境差异,装前建议到 GitHub 仓库确认最近更新与 issue。
社区实装还没有人打卡 · 装过的第一个就是你
安全扫描自动 · 静态分析源码v2.7.0⚪ 扫描:无法判定尚无人工评估展开查看扫描说明与证据 ↓
安全扫描自动 · 静态分析源码
v2.7.0已尝试扫描但取不到可分析的源码:仓库或包不存在、已删除,或为非 JS/TS 实现、未随包发布源码。无法判定,不代表安全。
- · 包内无可扫 JS
- · TS 源码(可能为非 JS 实现或未发布源码),无法判定
扫描于 2026/11/1(0 天前) · 范围 全包扫描(包内未声明入口) · 来源 GitHub 仓库
静态扫描只反映源码中出现的调用,不构成安全背书;人工评估与自动扫描相互独立、互不覆盖。
给这个插件打分还没有人投票↓
用户评分
还没有人投票,来当第一个
单机多智能体框架的可复现证据:20 项任务 A/B 回归(0.97-1.00 对 0.02-0.07)、评分标准、方法与局限、指标台账。
README
由 DeepSeek 最新模型翻译生成weft — 控制论实验报告(可复现证据包)
| 核心指标 | 数据 |
| 实验消耗 | 42.8 亿 Token(近 30 天;其中近 7 天 28.9 亿,窗口至 10-19) |
| 治理插件 | 6 个已上线(独立审计 9–10/10) |
| A/B 评测 | 编排组 0.97 vs 裸跑 0.02 |
| 稳定性提升 | 评分方差 std 1.174 → 0.366 |
| 事故闭环 | 5 篇带日志的排障复盘 |
The future of software isn't about syntax; it's about Intent and Governance.
2026-10-19 实录:治理层六件套(哨兵/完成否定/判断技能/账本/断点/评分官)核心链路 3 小时 10 分钟(23:39→02:52)移植进 DSH 0.2.1-rc.2 并全自动发布五仓;期间发现并修复一个官方静默禁用缺陷(官方仓库 Discussion #10203)。
展开完整文档(README 剩余 1 节)
weft — 控制论实验报告(可复现证据包)
| 核心指标 | 数据 |
| 实验消耗 | 42.8 亿 Token(近 30 天;其中近 7 天 28.9 亿,窗口至 10-19) |
| 治理插件 | 6 个已上线(独立审计 9–10/10) |
| A/B 评测 | 编排组 0.97 vs 裸跑 0.02 |
| 稳定性提升 | 评分方差 std 1.174 → 0.366 |
| 事故闭环 | 5 篇带日志的排障复盘 |
The future of software isn't about syntax; it's about Intent and Governance.
2026-10-19 实录:治理层六件套(哨兵/完成否定/判断技能/账本/断点/评分官)核心链路 3 小时 10 分钟(23:39→02:52)移植进 DSH 0.2.1-rc.2 并全自动发布五仓;期间发现并修复一个官方静默禁用缺陷(官方仓库 Discussion #10203)。
全程记录:DSH 多 Agent 拓扑迁移实战记录 | 最终报告 | 极客简报
同一模型,20 条真实任务:
| 组 | 配置 | 得分 |
| A | 多 Agent 编排(三层审计 + 心跳遥测) | 0.97 ~ 1.00 |
| B | 裸模型,无工具 | 0.02 ~ 0.07 |
模型没有变,变的是编排。评分 rubric 原文、脚本、历次报告全在本仓库, python regression.py 一键复跑。
与生态内现有方案的区别(据对方 README 核实,2026-10-19)
| 方案 | 它们做的 | 我们的差异 |
| dsh-tower(多 Agent 编排,worktree 隔离) | 提交前的审查/合并门禁 | 我们是运行时逐事件拦截:每一步都过闸,不是合并前一次性审 |
| dsh-codex-ultra-mode(动态子智能体编排) | 任务开始后的动态分解与回收 | 我们多一层入口守门人:闲聊态零工具,工作意图必须显式确认才拉起系统 |
| 各类插件族 | 能力扩展 | 我们做的是治理层(车间主任),不是更多螺丝刀 |
可观测性说明(诚实标注)
当前遥测为自定义格式(心跳计数器 + JSONL 事件日志),尚未对齐 OpenTelemetry GenAI 语义;迁移到 OTel(span 树、可被 Langfuse/Jaeger 消费)为明确目标,未完成前不宣称「可观测性对齐行业标准」。日志不含任何密钥明文,脱敏扫描在案。
裁判可靠性校准(Ground Truth)
「0.97 vs 0.02」是单裁判结果;按评测工程标准,裁判自身必须先校准。
5 条人工标注集已完成(校准集):所有者判定 vs 三眼定分评分官判定,一致率 4/5(80%,n=5)。
唯一分歧为「诚实否定语境」题——评分表对无产出如实报告缺专用判据,已定修法(不追溯改分),补测后更新。
守门人机制(2026-10-19 全链实测完成)
状态机(闲聊锁死 → 意图识别 → 反问确认 → 拉起多 Agent → 收工锁回):
用户输入 → 意图识别 ├─ 非工作意图 → 闲聊应答(零工具) └─ 工作意图 → 反问「要拉起系统吗?」→ 确认后才拉起办事者执行 → 微小审计盯主体 → 审计者复查 → 记忆管家记账
桌面端六插件已在生产记账(账本真实条目,脱敏摘录):
{"ts":"2026-10-18T22:39:30.877Z","session":"session-a17d…","provider":"unknown","model":"unknown","prompt_tokens":0,"completion_tokens":0}
诚实边界:账本已在桌面端生产环境落盘三条事件,但 provider/model 解析为 unknown、token 为 0——字段映射待补,已知边界在案。守门人协议同日完成全链实测:状态机成功拦截非工作意图,并成功拉起三层审计;完整联调日志留待面试现场演示。
自我纠错实录
我们公开承认并登记自己的失误(踩坑 #41–#48):归因跳步、调用撒手、单角度结论、状态卡漏同步、发布脚本细节错、以及一次「差点编造账本摘录」——提交前被自审拦下并改读真账。自审机制拦住幻觉的这一次,比任何完美数据都更能说明「意图驱动 + 审计闭环」真实生效。
四大铁律
1. 防自噬:代码层不可变,能力层可扩展(Skill/插件经测试挂载)。
来源:Agent 改自身代码导致脑死亡的真实事故。
2. 三层审计:小审计双清单(硬命中即暂停,软项只建议);大审计 0-10 裁决;审计器只读,人类终裁。
3. 五分钟遥测:心跳轻唤醒,物理静默;白班交互校准,夜班自动跑批。
4. 意图触发(设计稿):对话者与办事系统物理隔离;闲聊唤醒不了任何工具,开工必须显式确认。
事故复盘(五篇,全部挂证据等级)
- 42 分钟全线连环崩溃(时间线全来自日志)
- 自噬脑死亡
- 并发写冲突
- OOM 强杀
- VPN 断联
插件
- dsh-guardrail —双清单护栏,15 例测试全 PASS,Windows/Linux 双规则集。
其它
- metrics.md — 量化账本,每行挂口径
- 评估方法-20261018.md — rubric 原文与已知局限
- dialogist.md — 对话者机制
- docs/architecture.md — 架构图(审计环/四层记忆/防自噬)
- docs/faq.md — 常见质问与回答
- docs/roadmap.md — 公开路线图
诚实规则
本仓库只放能复现的东西。面板实录与机记切片分列标注,不混;所有者口述一律标【口述】;无证据不算完成。预览分享卡片长什么样 ↓
分享 · DeepSeek Harness Hub
weft-audit/weft-evidence
复跑多智能体编排的 A/B 评测,核对评分与数据
相关插件 · 开发 / 工程
隐私简历生成器reactive-resume/reactive-resume
Reactive Resume 已迁至 GitHub 上的…
★ 45,125已汉化MCP
71.7
AI 架构文档生成器sopaco/deepwiki-rs
🚀 Litho 已进化为 Terrain —— 给你的 AI 智能体一张会呼吸的代码库地图。
★ 3,157已汉化DSH
70.8
长时任务执行闭环AMAP-ML/LongHorizon-Harness
面向 Computer-Use Agent 的 Loop Engineering
★ 1,764已汉化DSH
70.5
AI 编程纪律方法包GanyuanRan/Aegis
让 AI 编程 agent 变得可信:少返工、更安全、说“完成”前先给证据。
★ 1,384已汉化DSH
69.6
多代理编排运行时Enderfga/claw-orchestrator
面向编程智能体的运行时。把 Claude Code、Codex、Antigravity、Grok…
★ 586已汉化MCP
69.4
记忆进化插件csyangwen/dsh-memory-evolve
dsh-memory-evolve 使用场景指南
★ 461已汉化DSH
67.9