🎁 福利专区全网大模型免费应用 + 新用户福利 + 注册活动入口,低成本玩转 AI

编排证据包 weft-audit/weft-evidence

DeepSeek Harness
weft-audit13 天前有提交已提供中文文档扫描:无法判定

复跑多智能体编排的 A/B 评测,核对评分与数据

30.8/100
综合分
1
GitHub 星标
—
npm 周下载
—/5
用户评分

数据截至 2026/10/19 · 周下载取自 npm 全网(含 CI / 镜像),非本站安装数;综合分由星标、活跃度与兼容性检查合成。

安装命令 · 需先装 dsh CLI 引擎
dsh plugin --profile web add weft-audit/weft-evidence
该包不可直接 npm 安装,改从 GitHub 源安装(明细见下方安装检查)

状态速览

判定依据:实装验证 · 静态安装检查 · 自动扫描 · 仓库维护状态
信任档位:需留意
是什么
dsh 原生插件 · dev
装得上吗
实装验证未通过(unknown),装前请到仓库确认最近更新与 issue
L4 · 真实安装等级说明 →
安全吗
本站尚未对该插件做风险分级
暂未覆盖,不等同于无风险
还在维护吗
活跃:最近一次提交在 13 天前
档位由哪些信号合成

本站实装验证(真实安装 L4 覆盖全站;L5 为运行时冒烟或实机截图,覆盖范围小于 L4) · 验证所用 dsh 版本 · 静态安装检查 · 风险分级 · 仓库维护状态。 下方各区块是它的证据明细。

验证判据与等级说明 →
⚠︎ 实装验证未通过(unknown · 2026/10/19) ——可能是验证环境差异,装前建议到 GitHub 仓库确认最近更新与 issue。
社区实装还没有人打卡 · 装过的第一个就是你
安全扫描自动 · 静态分析源码
v2.7.0
⚪ 扫描:无法判定尚无人工评估
展开查看扫描说明与证据 ↓

已尝试扫描但取不到可分析的源码:仓库或包不存在、已删除,或为非 JS/TS 实现、未随包发布源码。无法判定,不代表安全。

  • · 包内无可扫 JS
  • · TS 源码(可能为非 JS 实现或未发布源码),无法判定
扫描于 2026/11/1(0 天前) · 范围 全包扫描(包内未声明入口) · 来源 GitHub 仓库

静态扫描只反映源码中出现的调用,不构成安全背书;人工评估与自动扫描相互独立、互不覆盖。

给这个插件打分还没有人投票↓
用户评分
还没有人投票,来当第一个

单机多智能体框架的可复现证据:20 项任务 A/B 回归(0.97-1.00 对 0.02-0.07)、评分标准、方法与局限、指标台账。

README

由 DeepSeek 最新模型翻译生成
weft — 控制论实验报告(可复现证据包) | 核心指标 | 数据 | | 实验消耗 | 42.8 亿 Token(近 30 天;其中近 7 天 28.9 亿,窗口至 10-19) | | 治理插件 | 6 个已上线(独立审计 9–10/10) | | A/B 评测 | 编排组 0.97 vs 裸跑 0.02 | | 稳定性提升 | 评分方差 std 1.174 → 0.366 | | 事故闭环 | 5 篇带日志的排障复盘 | The future of software isn't about syntax; it's about Intent and Governance. 2026-10-19 实录:治理层六件套(哨兵/完成否定/判断技能/账本/断点/评分官)核心链路 3 小时 10 分钟(23:39→02:52)移植进 DSH 0.2.1-rc.2 并全自动发布五仓;期间发现并修复一个官方静默禁用缺陷(官方仓库 Discussion #10203)。
展开完整文档(README 剩余 1 节)
weft — 控制论实验报告(可复现证据包)

| 核心指标 | 数据 |
| 实验消耗 | 42.8 亿 Token(近 30 天;其中近 7 天 28.9 亿,窗口至 10-19) |
| 治理插件 | 6 个已上线(独立审计 9–10/10) |
| A/B 评测 | 编排组 0.97 vs 裸跑 0.02 |
| 稳定性提升 | 评分方差 std 1.174 → 0.366 |
| 事故闭环 | 5 篇带日志的排障复盘 |

The future of software isn't about syntax; it's about Intent and Governance.

2026-10-19 实录:治理层六件套(哨兵/完成否定/判断技能/账本/断点/评分官)核心链路 3 小时 10 分钟(23:39→02:52)移植进 DSH 0.2.1-rc.2 并全自动发布五仓;期间发现并修复一个官方静默禁用缺陷(官方仓库 Discussion #10203)。
全程记录:DSH 多 Agent 拓扑迁移实战记录 | 最终报告 | 极客简报

同一模型,20 条真实任务:

| 组 | 配置 | 得分 |
| A | 多 Agent 编排(三层审计 + 心跳遥测) | 0.97 ~ 1.00 |
| B | 裸模型,无工具 | 0.02 ~ 0.07 |

模型没有变,变的是编排。评分 rubric 原文、脚本、历次报告全在本仓库, python regression.py 一键复跑。

与生态内现有方案的区别(据对方 README 核实,2026-10-19)

| 方案 | 它们做的 | 我们的差异 |
| dsh-tower(多 Agent 编排,worktree 隔离) | 提交前的审查/合并门禁 | 我们是运行时逐事件拦截:每一步都过闸,不是合并前一次性审 |
| dsh-codex-ultra-mode(动态子智能体编排) | 任务开始后的动态分解与回收 | 我们多一层入口守门人:闲聊态零工具,工作意图必须显式确认才拉起系统 |
| 各类插件族 | 能力扩展 | 我们做的是治理层(车间主任),不是更多螺丝刀 |

可观测性说明(诚实标注)

当前遥测为自定义格式(心跳计数器 + JSONL 事件日志),尚未对齐 OpenTelemetry GenAI 语义;迁移到 OTel(span 树、可被 Langfuse/Jaeger 消费)为明确目标,未完成前不宣称「可观测性对齐行业标准」。日志不含任何密钥明文,脱敏扫描在案。

裁判可靠性校准(Ground Truth)

「0.97 vs 0.02」是单裁判结果;按评测工程标准,裁判自身必须先校准。
5 条人工标注集已完成(校准集):所有者判定 vs 三眼定分评分官判定,一致率 4/5(80%,n=5)。
唯一分歧为「诚实否定语境」题——评分表对无产出如实报告缺专用判据,已定修法(不追溯改分),补测后更新。

守门人机制(2026-10-19 全链实测完成)

状态机(闲聊锁死 → 意图识别 → 反问确认 → 拉起多 Agent → 收工锁回):

用户输入 → 意图识别 ├─ 非工作意图 → 闲聊应答(零工具) └─ 工作意图 → 反问「要拉起系统吗?」→ 确认后才拉起办事者执行 → 微小审计盯主体 → 审计者复查 → 记忆管家记账

桌面端六插件已在生产记账(账本真实条目,脱敏摘录):

{"ts":"2026-10-18T22:39:30.877Z","session":"session-a17d…","provider":"unknown","model":"unknown","prompt_tokens":0,"completion_tokens":0}

诚实边界:账本已在桌面端生产环境落盘三条事件,但 provider/model 解析为 unknown、token 为 0——字段映射待补,已知边界在案。守门人协议同日完成全链实测:状态机成功拦截非工作意图,并成功拉起三层审计;完整联调日志留待面试现场演示。

自我纠错实录

我们公开承认并登记自己的失误(踩坑 #41–#48):归因跳步、调用撒手、单角度结论、状态卡漏同步、发布脚本细节错、以及一次「差点编造账本摘录」——提交前被自审拦下并改读真账。自审机制拦住幻觉的这一次,比任何完美数据都更能说明「意图驱动 + 审计闭环」真实生效。

四大铁律

1. 防自噬:代码层不可变,能力层可扩展(Skill/插件经测试挂载)。
来源:Agent 改自身代码导致脑死亡的真实事故。
2. 三层审计:小审计双清单(硬命中即暂停,软项只建议);大审计 0-10 裁决;审计器只读,人类终裁。
3. 五分钟遥测:心跳轻唤醒,物理静默;白班交互校准,夜班自动跑批。
4. 意图触发(设计稿):对话者与办事系统物理隔离;闲聊唤醒不了任何工具,开工必须显式确认。

事故复盘(五篇,全部挂证据等级)

- 42 分钟全线连环崩溃(时间线全来自日志)
- 自噬脑死亡
- 并发写冲突
- OOM 强杀
- VPN 断联

插件

- dsh-guardrail —双清单护栏,15 例测试全 PASS,Windows/Linux 双规则集。

其它

- metrics.md — 量化账本,每行挂口径
- 评估方法-20261018.md — rubric 原文与已知局限
- dialogist.md — 对话者机制
- docs/architecture.md — 架构图(审计环/四层记忆/防自噬)
- docs/faq.md — 常见质问与回答
- docs/roadmap.md — 公开路线图

诚实规则

本仓库只放能复现的东西。面板实录与机记切片分列标注,不混;所有者口述一律标【口述】;无证据不算完成。
预览分享卡片长什么样 ↓weft-audit/weft-evidence
分享 · DeepSeek Harness Hub
weft-audit/weft-evidence

复跑多智能体编排的 A/B 评测,核对评分与数据

回到顶部