dsh-batch-regression

DeepSeek Harness 插件 · 批量回归 / DSH plugin for batch regression stats

"数据忽高忽低，到底信哪个"——对同一命令跑 N 轮取中位数和分布，用统计而不是单次结果下结论。

"Numbers keep jumping — which one do I trust?" Run the same command N rounds and judge by median/distribution instead of a single result.

真实方法论 Methodology（实测沉淀）

重要教训：cpulimit/nice/taskpolicy 在 Apple Silicon 上实测全失效——消抖靠"多轮取中位数 + 控制变量"，不靠限制 CPU。

使用 Usage

ROUNDS=5 METRIC=time ./scripts/runner.sh "node bench.js"
# samples=5  median=1234ms  (min=1102ms max=1987ms)

ROUNDS=10 METRIC=success ./scripts/runner.sh "npm run build"
# PASS=9/10

什么时候用 / 不用

执行纪律

1. 取中位数不是平均。
2. 至少 5 轮。
3. 控制变量：同一台机器、同一时段、关掉大头进程。
4. 承认局限：本地耗时受 P/E 核调度和热降频影响，结论用"差距>20%才稳"标注置信度。
5. 中间失败不中断：某轮 fail 记 FAIL 继续，不因单轮失败停。

安装 Install

# 发布到 npm 后
dsh plugin --profile demo add dsh-batch-regression

# 或从 GitHub 安装
dsh plugin --profile demo add github:PangYiMing/dsh-batch-regression

许可证 License

MIT