外呼 Agent 评测工具链CceliaXXx818/auto-finance-agent

auto-finance-agent · 小权外呼 Agent Preset 与自动化评测

面向 汽车资金需求智能外呼 场景的对话 Agent 「小权」 的
DeepSeek Harness Agent Preset，以及配套的 自动化 Evaluation（评测）工具链。

本仓库只包含 preset 组成与评测工具，不包含具体业务/呼叫系统代码。

✨ 小权是什么

小权是一个外呼对话 Agent，按既定话术推进一通"汽车资金需求回访"电话：

开场确认本人 → 判断资金需求 → 采集车辆状态(全款/按揭) → 采集意向金额
↓                    ↓
非本人/拒绝/业务咨询     有效线索 → 落盘 leads JSONL（FULL / PARTIAL）

硬性输出约束（每条回复自动校验）：
- 每轮回复 ≤ 30 个中文字符（含标点）
- 每轮 最多一个问题
- 回复禁止出现：贷款 / 车抵贷 / 借款 / 利率 / 利息（统一说"资金需求"）
- 对客只用名字 "小权"，不报任何公司/机构名

终态模型：

| 场景 | termination | lead_status | follow_up |
|---|---|---|---|
| 有需求且槽位齐全 | LEAD | FULL | 销售跟进 |
| 有需求但车辆状态/金额未获取 | LEAD | PARTIAL | 销售跟进 |
| 明确拒绝 / 不需要 | REJECTED | — | — |
| 非本人 | NON_SELF | — | — |
| 业务细节咨询（此前已确认有需求） | BUSINESS_DETAIL_QUERY | PARTIAL | 专员回拨解答 |
| 业务细节咨询（需求未确认） | BUSINESS_DETAIL_QUERY | —（Handoff） | 专员回拨解答 |

🏗️ 架构（基于 DeepSeek Harness / Cordis）

HOST 平面（共享进程级，部署自带）
├─ agent 注册表 / agent-loop / preset roster
├─ fs + 沙箱 + 审批 · 会话持久化 · 模型路由(DeepSeek)
└─ skills 注册表 / tools 注册表 / system-prompt 注册表
│ scope 认父 (agent → preset → global)
┌─────────────▼──────────────────────────────┐
│ AGENT PRESET（xiaoyi，随会话挂载一次）        │  ← 本仓库的 agent-presets/
│  agent.cordis.yml     6 行 Cordis 插件组成    │
│  skills/outbound-flow 话术手册（按需加载）    │
└─────────────┬──────────────────────────────┘
│ agents.create + agentPresets.mount('xiaoyi')
┌─────────────▼──────────────────────────────┐
│ EVALUATION（复用 HOST 机制，不重建 runtime）  │  ← 本仓库的 evaluation/
│  每 case 一个真实持久化 agent                │
│  逐轮喂客户话术 → 抓回复 → 读 leads JSONL     │
└────────────────────────────────────────────┘

关键设计
- persona 完整模式：complete: true + includeRuntimeContext: false —— 话术/流程/终态规则全量写在 persona，模型只看到这份系统提示，屏蔽编码类环境噪音。
- 话术即 skill：SKILL.md 随 preset 携带，按需加载、可独立迭代，不重挂 preset。
- eval 不重复造轮子：复用 Harness 原生的 agents.create / agentPresets.mount / session 事件流 / fs 服务，与 Web GUI 创建会话走同一条代码路径。

📁 目录结构

.
├── agent-presets/xiaoyi/               # 小权 Agent Preset
│   ├── preset.yml                      #   picker 显示名与简介
│   ├── agent.cordis.yml                #   Cordis 插件组成（persona 全文 + 6 行）
│   └── skills/outbound-flow/SKILL.md   #   话术手册（10 节）
├── evaluation/                         # 自动化评测
│   ├── convert_xlsx.py                 #   测试集 xlsx → case JSON
│   ├── summarize.py                    #   汇总指标
│   ├── cases/generated/                #   生成好的 case（20 多轮 + 10 单轮）
│   ├── output/REPORT.md                #   评测报告（人类可读）
│   └── README.md                       #   评测工具链说明
└── docs/phase_c_acceptance.md          # GUI 真人对练验收清单

🚀 快速开始

1) 安装 preset（让 Web GUI 能选到"小权"）

将 preset 同步到 DeepSeek Harness 的用户 preset 目录
cp -R agent-presets/xiaoyi/. ~/.dsh/.agent-presets/xiaoyi/

在 Web GUI 新建会话 → preset 选择「小权·汽车资金需求外呼」
由你扮演客户，按 docs/phase_c_acceptance.md 的 C1–C8 对练

小权会在会话工作区的 leads/YYYY-MM-DD.jsonl 落盘每条线索。
2) 运行自动化评测（需要 DeepSeek Harness cordis 会话）

评测在 Harness 会话内以动态 Cordis 插件驱动（详见 evaluation/README.md），
核心步骤：
1. 在 cordis 会话注册 eval_run_case 工具（runner 源码见 evaluation README）
2. 逐个串行执行 30 个 case（注意：不可并行）
3. 运行 python3 evaluation/summarize.py 生成汇总报告

python3 -m pip install openpyxl            # convert_xlsx.py 依赖
python3 evaluation/convert_xlsx.py         # （可选）从 xlsx 重新生成 case
python3 evaluation/summarize.py            # 汇总指标

3) 查看评测结果

见 evaluation/output/REPORT.md。第一版（2026-09-04）摘要：

| 指标 | 结果 |
|---|---|
| Task completion | 21 / 22 |
| Termination accuracy | 21 / 22 |
| Lead status accuracy | 12 / 13 |
| 输出 ≤30 字 / 每轮一问 / 禁词零出现 | 30 / 30 cases 全过 |

🔒 隐私与安全说明

- .env（含 API key）、真实通话线索目录 leads/、虚拟环境 .venv/、缓存等
不会被提交（见 .gitignore）。
- 评测用例中客户语句允许出现敏感词，但只校验 Agent 输出不复述。
- 对客不采集手机号/身份证等敏感信息（见 persona 规则）。

📌 Roadmap（按需迭代）

- [ ] 补齐 persona：「中途槽位明确不愿透露 → 立即 PARTIAL 收尾」等从评测发现的规则
- [ ] 单轮 80 条全量评测（当前抽 10 条）
- [ ] 金额区间/上限语义结构化（当前保留 raw 原文 + 归一化单值）
- [ ] 线索对接 CRM / 专员队列（当前落 JSONL）