量化基准复现 initial-d/dsh-plugin-mlquant-benchmark

dsh-plugin-mlquant-benchmark

CI
Listed on Awesome DSH Plugin

用于复现 initial-d/ml-quant-trading 协议 v1 CPU 基准测试的 DeepSeek Harness 工具。

目标很明确：让 DSH 智能体能够运行现有的基准测试、读取机器可读的产物、依据基准测试协议对其进行校验，并起草一份可直接提交为 issue 的报告。本插件不添加交易智能体，不调用市场数据 API，也不配置任何模型提供方。

为什么会有这个项目

ml-quant-trading 是智能体 harness 的一个很好的可复现性目标：

- 确定性的合成基准测试输入；
- 固定的协议 v1 命令、种子、面板大小、重复次数和线程数；
- 适合自动化检查的 JSON 产物；
- 用于 DeepSeek Harness 基准测试报告的公开 issue 模板；
- 明确边界：基准测试吞吐量并非交易表现。

挑战：DeepSeek Harness 能否端到端地复现一个量化基准测试、保留证据包，并避免把运行时数字变成 alpha 声明？

已通过 PR #2573 收录于 awesome-dsh-plugin。

从运行到报告的路径

1. 从 GitHub 安装该插件。
2. 在 DSH 中打开一个 initial-d/ml-quant-trading 检出目录。
3. 让 DSH 运行、校验、总结并起草一份基准测试报告。
4. 通过专用的 issue 模板提交起草好的报告。

这条路径刻意保持精简：该插件将 DSH 的注意力转化为一份可复现的基准测试报告，而非投资或排行榜声明。

工具

本包注册了四个 DSH 工具：

| 工具 | 用途 |
| mlquant_benchmark_v1_cpu | 运行固定的协议 v1 CPU 基准测试并写入 artifacts/benchmark-v1.json。 |
| mlquant_read_benchmark_json | 读取 JSON 产物并渲染一个紧凑的 Markdown 结果表。 |
| mlquant_validate_benchmark_json | 检查协议 v1 字段、预期用例、固定参数以及方差警告。 |
| mlquant_draft_github_issue | 根据 JSON 产物起草一份 DeepSeek Harness 基准测试 issue 正文。它不会向 GitHub 发布内容。 |

安装

在 DeepSeek Harness 配置文件或预设环境中安装该包：

dsh plugin --profile web add github:initial-d/dsh-plugin-mlquant-benchmark

该包声明了一个 dsh.bundle 清单，它会插入：

- id: mlquant-benchmark
name: dsh-plugin-mlquant-benchmark

如果你在开发时使用本地检出目录，请手动添加相同的行：

- id: mlquant-benchmark
name: file:/path/to/dsh-plugin-mlquant-benchmark
此包有意尚未发布到 npm。对于首批面向 DSH 的基准报告来说，通过 GitHub 分发已经足够；如果确实有实际使用需求，之后再发布到 npm 也不迟。

建议的 DSH 提示词

阅读 AGENTS.md、docs/benchmarking.md 和 docs/reality_check.md。
使用 mlquant 基准测试工具运行 protocol v1 CPU 基准测试，验证并读取 JSON 产物，并起草一份 DeepSeek Harness 基准报告。将结果保持为工程可复现性基准，而非交易性能声明。

公开报告路径

通过主仓库的专用模板发布起草好的报告：

种子示例：

独立的 DSH 运行记录在插件挑战 issue 中：

如果插件在创建有效的 benchmark-v1.json 产物之前就失败了，请在那里发帖。成功的或带有保留说明的基准报告请通过上方的主仓库模板发布。

有关背景信息和面向代理的防护规则，请阅读主仓库的 DeepSeek Harness Recipe 和 Quant Agent Reproducibility Target。

开发

npm install
npm test

该测试使用模拟的 ctx.tools.register 加载插件，验证四个工具是否注册，读取并验证示例产物，并起草 issue 正文。

非目标

- 不提供投资建议。
- 不声称回测性能。
- 不隐藏模型提供商配置。
- 不从工具向 GitHub 发帖。
- 产物中不包含私有数据或 API 密钥。