Skip to content

results-table:实验结果统计与制表 ​

分析结果带脚本,结果可复核Python 3.9+,无第三方依赖下载源码(ZIP)

从原始结果计算均值 ± 标准差、P99、置信区间,和基线做 Welch t 检验,输出 Markdown 或 LaTeX 表格,最好的加粗、次好的加下划线。

能做什么 ​

论文表格里的每个数字都应该能从原始结果算出来。手抄、手算最容易出错,这个技能用脚本完成:

  • 读取 CSV、JSONL(每行一次运行或一个请求),按方法分组;
  • 统计量:均值 ± 标准差(默认)、中位数、P90、P95、P99,可选 95% 置信区间(bootstrap);
  • 和基线做 Welch t 检验,给出相对变化和 p 值(已和 SciPy 的结果逐位对照);
  • 输出 Markdown 或 LaTeX(booktabs)表格,按“越小越好 / 越大越好”自动把最好的加粗、次好的加下划线,符合组内写作规范;
  • 每个配置少于 3 个样本时提醒补跑。

安装 ​

装到当前项目(.claude/skills/),macOS / Linux
curl -LO https://skills.bnuai.com/download/skills/results-table.zip && mkdir -p .claude/skills && unzip -o results-table.zip -d .claude/skills
装到个人目录,所有项目都能用,macOS / Linux
curl -LO https://skills.bnuai.com/download/skills/results-table.zip && mkdir -p ~/.claude/skills && unzip -o results-table.zip -d ~/.claude/skills
装到当前项目,Windows PowerShell
Invoke-WebRequest https://skills.bnuai.com/download/skills/results-table.zip -OutFile results-table.zip; Expand-Archive results-table.zip -DestinationPath .claude\skills -Force

压缩包从本站下载,不需要 Node.js 或 GitHub。带脚本的技能需要 Python 3.9 以上。更新时重新下载解压、覆盖原文件夹即可。

怎么用 ​

text
results/runs.csv 里是 5 个种子的结果,帮我按方法整理成表,延迟越小越好、吞吐越大越好,和 Baseline 做显著性检验。
text
把 results/ 下几个压测结果按请求速率整理成 P99 TTFT 的表,输出 LaTeX。

示例 ​

bash
python3 restable.py runs.csv --group method --metrics latency_ms:min,throughput:max --baseline Baseline --where rate=4
text
| method | latency_ms | throughput | n |
|---|---|---|---|
| Baseline | 191.48 ± 4.90 | 12.57 ± 0.25 | 5 |
| Cache | <u>160.84 ± 4.85</u> | <u>15.28 ± 0.18</u> | 5 |
| Ours | **140.73 ± 10.50** | **16.97 ± 0.05** | 5 |

显著性检验:
- Cache vs Baseline(latency_ms):160.84 vs 191.48(-16.0%),Welch t 检验 p = 8.94e-06,显著(α = 0.05,n = 5 / 5)
- Ours vs Baseline(latency_ms):140.73 vs 191.48(-26.5%),Welch t 检验 p = 9.23e-05,显著(α = 0.05,n = 5 / 5)
……

(模拟数据。)加 --by rate 时每个指标一张表、每个速率一列;--format latex 输出可以直接放进论文的表格。

直接运行脚本 ​

bash
python3 skills/results-table/scripts/restable.py results.csv --group method --metrics acc:max --ci --format latex
python3 skills/results-table/scripts/restable.py requests.jsonl --group method --by rate --metrics ttft_ms:min:p99

指标写成 名称[:min|max][:统计量]。

权限说明 ​

只读取结果文件,不联网,不执行其他命令。

局限 ​

只做描述统计和两组之间的 t 检验。多组比较、非正态的小样本、配对设计等需要其他检验方法,Agent 会提示。不会删除或修改任何数据点。