Skip to content
text
# Related Code
- `dai_bench/cli/main.py`
- `dai_bench/cli/run.py`
- `dai_bench/core/config.py`
- `dai_bench/core/runner.py`
- `dai_bench/core/launch.py`
- `dai_bench/runners/vllm_bench.py`

架构概览

总体思路

dai-bench 把“压测执行”拆成三个独立层次:

  1. 配置层bench.yaml / serve.yaml 描述负载、服务、参数组合。
  2. 编排层BenchmarkRunner + Launcher 负责服务生命周期与实验执行。
  3. 执行层VLLMBenchmarkRunner 将配置转换为 vLLM benchmark 调用并生成结果。

组件图

数据流

运行拓扑

技术债 / 需要注意的边界

  • K8s Launcher 依赖 label_selector: 未配置时会直接报错。
  • Ready Check 默认 /health: 服务不暴露该路径会导致无限等待直到超时。
  • Runner 单一后端: 新增后端需要扩展 runner 层与配置结构。