Appearance
text
# Related Code
- `dai_bench/cli/main.py`
- `dai_bench/cli/run.py`
- `dai_bench/core/config.py`
- `dai_bench/core/runner.py`
- `dai_bench/core/launch.py`
- `dai_bench/runners/vllm_bench.py`架构概览
总体思路
dai-bench 把“压测执行”拆成三个独立层次:
- 配置层:
bench.yaml/serve.yaml描述负载、服务、参数组合。 - 编排层:
BenchmarkRunner+Launcher负责服务生命周期与实验执行。 - 执行层:
VLLMBenchmarkRunner将配置转换为 vLLM benchmark 调用并生成结果。
组件图
数据流
运行拓扑
技术债 / 需要注意的边界
- K8s Launcher 依赖 label_selector: 未配置时会直接报错。
- Ready Check 默认 /health: 服务不暴露该路径会导致无限等待直到超时。
- Runner 单一后端: 新增后端需要扩展 runner 层与配置结构。