# Related Code
- `dai_bench/cli/main.py`
- `dai_bench/cli/run.py`
- `dai_bench/core/config.py`
- `dai_bench/core/runner.py`
- `dai_bench/runners/vllm_bench.py`
- `dai_bench/core/launch.py`

项目概览

一句话定义

• dai-bench 是一个以项目/实验为核心、面向 vLLM 服务的 LLM 基准测试与报告生成工具。

Tech Stack Radar

• Python (CLI + 执行引擎)
• vLLM (benchmark 执行)
• Kubernetes Client (server mode 编排)
• YAML 配置 (bench.yaml / serve.yaml)
• Go (Release Notes 工具)

系统上下文

架构亮点

• 配置即运行: bench.yaml / serve.yaml 将负载、服务与实验组合解耦为可复用配置。
• Server Mode 自动化: 通过 Launcher 启动/停止服务并做就绪检查，批量处理 treatments。
• 结果可视化桥接: 直接生成 config-explorer 兼容的 YAML 报告，便于二次分析。

关键风险 / 技术债

• 运行器强绑定 vLLM: 当前仅实现 VLLMBenchmarkRunner，扩展到其他后端需新增 runner。
• 服务生命周期依赖外部脚本: run.sh / stop.sh 是关键路径，错误会直接影响压测稳定性。
• 配置序列化不完整: BenchmarkConfig.to_dict() 只覆盖部分字段，需警惕配置丢失。