initial-d/dsh-plugin-mlquant-benchmark

dsh-plugin-mlquant-benchmark

CI
Listed on Awesome DSH Plugin

用于复现
initial-d/ml-quant-trading
protocol v1 CPU 基准测试的 DeepSeek Harness 工具。

其目标很明确：让 DSH 智能体能够运行现有的基准测试、读取机器可读的产物、依据基准测试协议对其进行校验，并起草一份可直接提交的 issue 报告。本插件不添加交易智能体，不调用市场数据 API，也不配置任何模型提供方。

为什么会有这个项目

ml-quant-trading 是智能体 harness 的一个很好的可复现性目标：

- 确定性的合成基准测试输入；
- 固定的 protocol v1 命令、种子、面板规模、重复次数和线程数；
- 适合自动化检查的 JSON 产物；
- 用于 DeepSeek Harness 基准测试报告的公开 issue 模板；
- 明确边界：基准测试吞吐量并非交易表现。

挑战：DeepSeek Harness 能否端到端地复现一个量化基准测试、保留证据包，并避免将运行时数字变成 alpha 声明？

已通过 PR #2573 收录于
awesome-dsh-plugin。

从运行到报告的路径

1. 从 GitHub 安装该插件。
2. 在 DSH 中打开一个 initial-d/ml-quant-trading 检出目录。
3. 让 DSH 运行、校验、总结并起草一份基准测试报告。
4. 通过专用的 issue 模板提交起草好的报告。

这条路径刻意保持精简：该插件将 DSH 的注意力转化为一份可复现的基准测试报告，而非投资或排行榜声明。

工具

本包注册了四个 DSH 工具：

| 工具 | 用途 |
| --- | --- |
| mlquant_benchmark_v1_cpu | 运行固定的 protocol v1 CPU 基准测试并写入 artifacts/benchmark-v1.json。 |
| mlquant_read_benchmark_json | 读取 JSON 产物并渲染一个紧凑的 Markdown 结果表。 |
| mlquant_validate_benchmark_json | 检查 protocol v1 字段、预期用例、固定参数以及方差警告。 |
| mlquant_draft_github_issue | 根据 JSON 产物起草一份 DeepSeek Harness 基准测试 issue 正文。它不会向 GitHub 发布内容。 |

安装

在 DeepSeek Harness 配置文件或预设环境中安装该包：

dsh plugin --profile web add github:initial-d/dsh-plugin-mlquant-benchmark

该包声明了一个 dsh.bundle 清单，它会插入：

- id: mlquant-benchmark
name: dsh-plugin-mlquant-benchmark

如果你在开发时使用本地检出目录，请手动添加相同的行：

- id: mlquant-benchmark
name: file:/path/to/dsh-plugin-mlquant-benchmark
此包有意尚未发布到 npm。对于首批面向 DSH 的基准测试报告来说，GitHub 分发已经足够；如果确实有实际使用需求，之后再发布到 npm 也不迟。

建议的 DSH 提示词

阅读 AGENTS.md、docs/benchmarking.md 和 docs/reality_check.md。
使用 mlquant 基准测试工具运行 protocol v1 CPU 基准测试，验证并读取 JSON
产物，并起草一份 DeepSeek Harness 基准测试报告。将结果保持为工程可复现性
基准测试，而非交易性能声明。

公开报告路径

通过主仓库的专用模板发布起草的报告：

种子示例：

有关背景信息和面向 agent 的护栏，请阅读主仓库的
DeepSeek Harness Recipe
和
Quant Agent Reproducibility Target。

开发

npm install
npm test

该测试使用模拟的 ctx.tools.register 加载插件，验证四个工具是否注册，读取并验证示例产物，并起草 issue 正文。

非目标

- 不提供投资建议。
- 不作回测性能声明。
- 不隐藏模型提供方配置。
- 不从工具向 GitHub 发布内容。
- 产物中不包含私有数据或 API 密钥。