AIBrix 基准测试 Gateway Override 机制全解析从 env 注入、Deployment 滚动到 Gateway API 资源编排【免费下载链接】aibrixCost-efficient and pluggable Infrastructure components for GenAI inference项目地址: https://gitcode.com/GitHub_Trending/ai/aibrix导读本文以 AIBrix 仓库中 brixbench/benchmark/testdata/deployments/aibrix/gateway/overrides/README.md 为骨架完整讲解 brixbench 基准测试框架中网关覆盖Gateway Override机制的设计意图、目录布局、滚动行为与实操方法。你将掌握如何通过场景级gateway.env注入网关运行时环境变量、如何通过gateway.resources追加 Gateway API 资源、二者在部署时序与滚动行为上的本质差异以及patchTarget补丁文件的写法与生效顺序。全文结合仓库源码AIBrixDeployer 实现与真实场景配置保证可复制、可运行。一、Gateway Override 是什么基准测试用例的网关定制层在 brixbench 基准测试框架中一个测试用例TestCase通常需要同时控制三件事推理引擎vLLM 等的部署清单、网关gateway-plugins的运行时配置以及路由所需的 Gateway API 资源。overrides/目录就是为最后一类需求预留的基准测试专用网关覆盖草稿benchmark-facing gateway override drafts存放地其核心目标由 README 明确定义为未来的测试用例接口设计一个基准测试用例可以提供场景级的网关运行时环境变量覆盖gateway runtime env overrides和额外的 Gateway API 资源文件extra Kubernetes resource files。也就是说这一层机制把网关怎么跑、路由怎么配从固定安装中解耦出来让每个 benchmark 场景可以独立声明自己的网关形态。从测试用例的数据结构看这一设计已经被完整落地。在 brixbench/internal/resolver/ 解析出的Test结构体中Gateway字段同时携带Env环境变量映射与Resources资源文件列表deployer.go 的 Config 中对应暴露了GatewayEnv map[string]string与GatewayResourceFiles []string两个字段最终由 AIBrixDeployer 消费执行。二、目录布局草稿文件的分工overrides/目录当前包含以下文件brixbench/benchmark/testdata/deployments/aibrix/gateway/overrides/ ├── README.md # 本文依据的说明文档 ├── gateway-plugins-scaleup.yaml # 网关副本扩容 资源规格调整patchTarget 补丁 ├── routing/ │ ├── qwen3-8b-gateway-resources.yaml # 路由资源组合ReferenceGrant HTTPRoute │ ├── qwen3-8b-route.yaml # 仅 HTTPRoute/ReferenceGrant │ └── unset-routing-algorithm.yaml # 删除 ROUTING_ALGORITHM 环境变量补丁 └── vllm-pd/ ├── resources.yaml # vLLM PD 模型的 Service ReferenceGrant HTTPRoute └── notes.md # 草稿的假设与滚动行为说明其中vllm-pd/resources.yaml在 README 中被特别点名它是网关环境补丁应用之后追加应用的额外 Kubernetes 资源additional Kubernetes resources applied after gateway env patching而vllm-pd/notes.md则记录了该草稿的假设与滚动行为。需要说明的是当前仓库中vllm-pd/notes.md尚未填充内容其职责已由目录级 README.md 中的 Rollout Behavior 一节承担读者可将其视为草稿假设的占位与规范入口。三、两类覆盖的本质差异运行时 env vs 路由资源README 明确区分了两类覆盖及其对部署流程的不同影响这是理解整个机制的关键覆盖类型典型内容是否触发网关 Pod 滚动应用时机运行时 env 覆盖ROUTING_ALGORITHM等环境变量是需要 Deployment rollout网关 Deployment 被 deployer patch 之后Gateway API 资源HTTPRoute、ReferenceGrant、独立Service否本身不要求滚动网关运行时配置更新完成之后3.1 运行时 env 覆盖需要一次 Deployment 滚动运行时环境变量直接修改网关插件 Pod 模板pod template。由于 Kubernetes 中 Deployment 的 Pod 模板变更不会自动生效必须触发滚动更新新的 env 才能被实际运行中的 Pod 读取。README 明确写道Runtime env changes to the gateway plugin pod template require a Deployment rollout after the deployer patches the shared Deployment. Examples include:ROUTING_ALGORITHMROUTING_ALGORITHM是 AIBrix 网关插件的核心路由算法开关定义于 pkg/plugins/gateway/types.go#L90EnvRoutingAlgorithm ROUTING_ALGORITHM其语义为未设置按请求级覆盖时使用的默认路由算法见 ENV_VARS.md。可取值包括random、least-request、prefix-cache、pd、vtc-basic等实际支持的算法集合可以在 pkg/plugins/gateway/algorithms/ 下各算法的 README 中确认。3.2 Gateway API 资源覆盖不需要滚动但要注意顺序HTTPRoute、ReferenceGrant、独立Service这类对象属于控制面声明资源由 Envoy Gateway 等控制器监听并生效不会修改网关 Pod 模板因此单独应用它们不会触发网关滚动。但它们有依赖前提必须在网关运行时配置已经更新、网关处于期望状态之后应用否则可能出现路由规则先于后端服务就绪、导致流量转发失败的竞态。README 给出的顺序要求是Resources such asHTTPRoute,ReferenceGrant, and standaloneServiceobjects do not require a gateway pod rollout by themselves. They are expected to be appliedafterthe gateway runtime configuration has been updated.四、源码级验证AIBrixDeployer 如何编排这两类覆盖overrides/目录的意图在 AIBrixDeployer 中得到了完整实现我们可以从源码调用链逐段验证 README 描述的行为。4.1 环境变量注入applyGatewayEnvapplyGatewayEnv 将gatewayEnvmap 排序后拼装为kubectl set env deployment/aibrix-gateway-plugins -n aibrix-system KEYVALUE ...命令执行。注意它针对的是共享的 Deploymentaibrix-gateway-plugins命名空间aibrix-system这正是 README 中deployer patches the shared Deployment所指的修改对象。4.2 滚动等待rollout status在 gateway-only 部署模式下deployGatewayOnlyControlPlane 的执行顺序为应用 dev overlayapplyGatewayDevOverlay若有 env 则执行applyGatewayEnv注入环境变量若有自建镜像则执行applyGatewayImage更新镜像执行kubectl rollout status deployment/aibrix-gateway-plugins -n aibrix-system --timeout9m等待滚动完成外层 10 分钟超时。这段代码正是 READMEruntime env changes require a Deployment rollout的落地实现——patch 之后立刻等待 rollout确保新 env 生效后才继续。4.3 资源文件应用applyGatewayResourceFilesapplyGatewayResourceFiles 逐文件处理gatewayResourceFiles区分两种文件形态这是仓库内覆盖文件的编写规范含patchTarget顶层字段的文件解析出kind、name、namespace、type后剔除patchTarget字段将剩余文档序列化为 JSON执行kubectl patch kind name -n ns --typetype --patch json。type缺省时默认merge。不含patchTarget的普通清单文件直接kubectl apply -f path。在 DeployEngine 中引擎清单应用后会调用applyGatewayResourceFiles若存在资源覆盖文件还会再执行一次rollout status等待README 中expected to be applied after the gateway runtime configuration has been updated的对应实现。此外artifact_resolution.go 会在解析阶段对test.Gateway.Resources做文件存在性校验validateFiles(gateway resource override, ...)路径错误会在运行前被拦截。五、覆盖文件怎么写两类文件的完整模板下面结合仓库中的真实文件给出可直接套用的两种模板。5.1 补丁文件模板patchTarget形态用于修改共享的网关 Deployment副本数、资源规格、env 等。以 gateway-plugins-scaleup.yaml 为例它将网关副本数扩到 3、单副本资源提升到 4 CPU / 8GipatchTarget: kind: Deployment name: aibrix-gateway-plugins namespace: aibrix-system type: strategic spec: replicas: 3 template: spec: containers: - name: gateway-plugin resources: requests: cpu: 4 memory: 8Gi limits: cpu: 4 memory: 8Gi同目录下 routing/qwen3-8b-gateway-resources.yaml 展示了一个更激进的补丁将 gateway-plugin 单副本资源直接拉到 32 CPU / 64Gi 并清空args适用于高吞吐压测场景patchTarget: kind: Deployment name: aibrix-gateway-plugins namespace: aibrix-system type: strategic spec: replicas: 1 template: spec: containers: - name: gateway-plugin args: [] resources: requests: cpu: 32 memory: 64Gi limits: cpu: 32 memory: 64Gi注意一个细节applyGatewayResourceFiles中patchTarget.kind会先strings.ToLower再拼入命令因此kind: deployment与kind: Deployment均可识别见 routing/unset-routing-algorithm.yaml 中的写法。env 删除补丁若场景需要清除默认注入的ROUTING_ALGORITHM例如在两种路由算法场景间切换可以使用 strategic merge patch 的$patch: delete指令patchTarget: kind: deployment name: aibrix-gateway-plugins namespace: aibrix-system type: strategic spec: template: spec: containers: - name: gateway-plugin env: - name: ROUTING_ALGORITHM $patch: delete5.2 普通资源清单模板直接 apply 形态用于声明路由所需对象。以 vllm-pd/resources.yaml 为例它由三段组成1后端 Service——通过model.aibrix.ai/name与model.aibrix.ai/engine标签选择 vLLM PD 模型 PodapiVersion: v1 kind: Service metadata: name: vllm-pd-svc namespace: brixbench-adhoc labels: model.aibrix.ai/name: qwen3-32b spec: selector: model.aibrix.ai/name: qwen3-32b model.aibrix.ai/engine: vllm ports: - name: http protocol: TCP port: 8000 targetPort: 8000 type: ClusterIP2ReferenceGrant——授权aibrix-system命名空间中的 HTTPRoute 引用brixbench-adhoc命名空间中的 Service跨命名空间引用必需apiVersion: gateway.networking.k8s.io/v1beta1 kind: ReferenceGrant metadata: name: aibrix-system-to-vllm-pd-svc namespace: brixbench-adhoc spec: from: - group: gateway.networking.k8s.io kind: HTTPRoute namespace: aibrix-system to: - group: kind: Service3HTTPRoute——挂在aibrix-egGateway 上按model: qwen3-32b请求头精确匹配将/v1/completions与/v1/chat/completions流量转发到后端 Service 的 8000 端口并设置 120s 请求超时apiVersion: gateway.networking.k8s.io/v1 kind: HTTPRoute metadata: name: vllm-pd-router namespace: aibrix-system spec: parentRefs: - group: gateway.networking.k8s.io kind: Gateway name: aibrix-eg namespace: aibrix-system rules: - backendRefs: - group: kind: Service name: vllm-pd-svc namespace: brixbench-adhoc port: 8000 weight: 1 matches: - headers: - name: model type: Exact value: qwen3-32b path: type: PathPrefix value: /v1/completions - headers: - name: model type: Exact value: qwen3-32b path: type: PathPrefix value: /v1/chat/completions timeouts: request: 120srouting/qwen3-8b-route.yaml 是同一模式的 qwen3-8b 版本可作为换模型即换路由的对照模板。六、在场景文件中启用覆盖gateway.env 与 gateway.resources覆盖文件本身不会被自动加载必须由基准测试场景Scenario显式引用。仓库中多个场景展示了标准写法6.1 最小示例PD 路由 路由资源aibrix-gateway-minimal.yaml 中测试用例通过gateway.env将ROUTING_ALGORITHM设为pd通过gateway.resources引入vllm-pd/resources.yamlScenario: aibrix-gateway-minimal Tests: - name: aibrix-main-d41653b provider: aibrix commit: d41653b26cf1257157e34ff35ee5f028644473a8 engine: type: vllm manifest: testdata/deployments/aibrix/models/model.yaml benchmark: testdata/benchmarks/vllm-chat-smoke.yaml gateway: image: baseImage: aibrix-public-release-cn-beijing.cr.volces.com/aibrix/gateway-plugins:v0.6.0 outputRepository: aibrix-public-release-cn-beijing.cr.volces.com/aibrix/gateway-plugins env: ROUTING_ALGORITHM: pd resources: - testdata/deployments/aibrix/gateway/overrides/vllm-pd/resources.yaml6.2 对比实验同引擎、不同路由算法aibrix-batching-comparison.yaml 用两个测试用例对比非聚合/聚合两种网关配置非聚合用例用ROUTING_ALGORITHM: random 普通model.yaml聚合用例用ROUTING_ALGORITHM: pdpd-model.yaml两者都通过gateway.resources加载 gateway-plugins-scaleup.yaml 提升网关容量避免网关成为压测瓶颈- name: aibrix-v0.6.0-nondisaggregated provider: aibrix fullstack: false version: v0.6.0 engine: type: vllm manifest: testdata/deployments/aibrix/models/model.yaml benchmark: testdata/benchmarks/vllm-chat-smoke-random.yaml gateway: image: baseImage: aibrix-public-release-cn-beijing.cr.volces.com/aibrix/gateway-plugins:v0.6.0 outputRepository: aibrix-public-release-cn-beijing.cr.volces.com/aibrix/gateway-plugins env: ROUTING_ALGORITHM: random resources: - testdata/deployments/aibrix/gateway/overrides/gateway-plugins-scaleup.yaml关键字段速查字段类型说明gateway.envmap注入到aibrix-gateway-pluginsDeployment 的环境变量修改 Pod 模板触发滚动gateway.resources文件列表含patchTarget的走kubectl patch普通清单走kubectl applygateway.image.baseImage/outputRepositorystring网关镜像来源可结合applyGatewayImage切换自建镜像fullstackboolfalse时仅部署网关gateway-only 模式复用共享aibrix-system控制面七、最佳实践与注意事项环境变量改动必须等待 rollout修改ROUTING_ALGORITHM等 env 后deployer 会执行rollout status9 分钟超时因此在设计自己的覆盖时无需手动等待但若在 benchmark 流程外手工kubectl set env请务必自行执行kubectl rollout status deployment/aibrix-gateway-plugins -n aibrix-system。路由资源后置应用HTTPRoute/ReferenceGrant/Service应在网关运行时配置更新之后再应用顺序由 deployer 保证applyGatewayEnv→ 滚动 →applyGatewayResourceFiles手工操作时也要遵循同一顺序避免路由先行、后端未就绪。跨命名空间引用必须配 ReferenceGrantaibrix-system的 HTTPRoute 引用brixbench-adhoc的 Service 时必须在目标命名空间创建 ReferenceGrant缺失会导致路由规则被 Envoy Gateway 拒绝。$patch: delete适合算法切换场景当需要在同一共享 Deployment 上先清掉默认算法、再注入新算法时unset-routing-algorithm.yaml是现成的模板。网关容量与压测吞吐匹配高 QPS 场景建议复用gateway-plugins-scaleup.yaml3 副本 × 4CPU/8Gi或更激进的 32CPU/64Gi 补丁避免网关自身成为基准测试的瓶颈。八、进一步阅读覆盖机制完整实现brixbench/internal/deployers/aibrix.go部署接口与配置结构brixbench/internal/deployers/deployer.go场景文件如何引用覆盖brixbench/benchmark/testdata/scenarios/aibrix-gateway-minimal.yaml、brixbench/benchmark/testdata/scenarios/aibrix-batching-comparison.yaml网关插件环境变量全集pkg/plugins/gateway/ENV_VARS.md路由算法文档pkg/plugins/gateway/algorithms/覆盖草稿目录本文主题brixbench/benchmark/testdata/deployments/aibrix/gateway/overrides/【免费下载链接】aibrixCost-efficient and pluggable Infrastructure components for GenAI inference项目地址: https://gitcode.com/GitHub_Trending/ai/aibrix创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
AIBrix 基准测试 Gateway Override 机制全解析：从 env 注入、Deployment 滚动到 Gateway API 资源编排
AIBrix 基准测试 Gateway Override 机制全解析从 env 注入、Deployment 滚动到 Gateway API 资源编排【免费下载链接】aibrixCost-efficient and pluggable Infrastructure components for GenAI inference项目地址: https://gitcode.com/GitHub_Trending/ai/aibrix导读本文以 AIBrix 仓库中 brixbench/benchmark/testdata/deployments/aibrix/gateway/overrides/README.md 为骨架完整讲解 brixbench 基准测试框架中网关覆盖Gateway Override机制的设计意图、目录布局、滚动行为与实操方法。你将掌握如何通过场景级gateway.env注入网关运行时环境变量、如何通过gateway.resources追加 Gateway API 资源、二者在部署时序与滚动行为上的本质差异以及patchTarget补丁文件的写法与生效顺序。全文结合仓库源码AIBrixDeployer 实现与真实场景配置保证可复制、可运行。一、Gateway Override 是什么基准测试用例的网关定制层在 brixbench 基准测试框架中一个测试用例TestCase通常需要同时控制三件事推理引擎vLLM 等的部署清单、网关gateway-plugins的运行时配置以及路由所需的 Gateway API 资源。overrides/目录就是为最后一类需求预留的基准测试专用网关覆盖草稿benchmark-facing gateway override drafts存放地其核心目标由 README 明确定义为未来的测试用例接口设计一个基准测试用例可以提供场景级的网关运行时环境变量覆盖gateway runtime env overrides和额外的 Gateway API 资源文件extra Kubernetes resource files。也就是说这一层机制把网关怎么跑、路由怎么配从固定安装中解耦出来让每个 benchmark 场景可以独立声明自己的网关形态。从测试用例的数据结构看这一设计已经被完整落地。在 brixbench/internal/resolver/ 解析出的Test结构体中Gateway字段同时携带Env环境变量映射与Resources资源文件列表deployer.go 的 Config 中对应暴露了GatewayEnv map[string]string与GatewayResourceFiles []string两个字段最终由 AIBrixDeployer 消费执行。二、目录布局草稿文件的分工overrides/目录当前包含以下文件brixbench/benchmark/testdata/deployments/aibrix/gateway/overrides/ ├── README.md # 本文依据的说明文档 ├── gateway-plugins-scaleup.yaml # 网关副本扩容 资源规格调整patchTarget 补丁 ├── routing/ │ ├── qwen3-8b-gateway-resources.yaml # 路由资源组合ReferenceGrant HTTPRoute │ ├── qwen3-8b-route.yaml # 仅 HTTPRoute/ReferenceGrant │ └── unset-routing-algorithm.yaml # 删除 ROUTING_ALGORITHM 环境变量补丁 └── vllm-pd/ ├── resources.yaml # vLLM PD 模型的 Service ReferenceGrant HTTPRoute └── notes.md # 草稿的假设与滚动行为说明其中vllm-pd/resources.yaml在 README 中被特别点名它是网关环境补丁应用之后追加应用的额外 Kubernetes 资源additional Kubernetes resources applied after gateway env patching而vllm-pd/notes.md则记录了该草稿的假设与滚动行为。需要说明的是当前仓库中vllm-pd/notes.md尚未填充内容其职责已由目录级 README.md 中的 Rollout Behavior 一节承担读者可将其视为草稿假设的占位与规范入口。三、两类覆盖的本质差异运行时 env vs 路由资源README 明确区分了两类覆盖及其对部署流程的不同影响这是理解整个机制的关键覆盖类型典型内容是否触发网关 Pod 滚动应用时机运行时 env 覆盖ROUTING_ALGORITHM等环境变量是需要 Deployment rollout网关 Deployment 被 deployer patch 之后Gateway API 资源HTTPRoute、ReferenceGrant、独立Service否本身不要求滚动网关运行时配置更新完成之后3.1 运行时 env 覆盖需要一次 Deployment 滚动运行时环境变量直接修改网关插件 Pod 模板pod template。由于 Kubernetes 中 Deployment 的 Pod 模板变更不会自动生效必须触发滚动更新新的 env 才能被实际运行中的 Pod 读取。README 明确写道Runtime env changes to the gateway plugin pod template require a Deployment rollout after the deployer patches the shared Deployment. Examples include:ROUTING_ALGORITHMROUTING_ALGORITHM是 AIBrix 网关插件的核心路由算法开关定义于 pkg/plugins/gateway/types.go#L90EnvRoutingAlgorithm ROUTING_ALGORITHM其语义为未设置按请求级覆盖时使用的默认路由算法见 ENV_VARS.md。可取值包括random、least-request、prefix-cache、pd、vtc-basic等实际支持的算法集合可以在 pkg/plugins/gateway/algorithms/ 下各算法的 README 中确认。3.2 Gateway API 资源覆盖不需要滚动但要注意顺序HTTPRoute、ReferenceGrant、独立Service这类对象属于控制面声明资源由 Envoy Gateway 等控制器监听并生效不会修改网关 Pod 模板因此单独应用它们不会触发网关滚动。但它们有依赖前提必须在网关运行时配置已经更新、网关处于期望状态之后应用否则可能出现路由规则先于后端服务就绪、导致流量转发失败的竞态。README 给出的顺序要求是Resources such asHTTPRoute,ReferenceGrant, and standaloneServiceobjects do not require a gateway pod rollout by themselves. They are expected to be appliedafterthe gateway runtime configuration has been updated.四、源码级验证AIBrixDeployer 如何编排这两类覆盖overrides/目录的意图在 AIBrixDeployer 中得到了完整实现我们可以从源码调用链逐段验证 README 描述的行为。4.1 环境变量注入applyGatewayEnvapplyGatewayEnv 将gatewayEnvmap 排序后拼装为kubectl set env deployment/aibrix-gateway-plugins -n aibrix-system KEYVALUE ...命令执行。注意它针对的是共享的 Deploymentaibrix-gateway-plugins命名空间aibrix-system这正是 README 中deployer patches the shared Deployment所指的修改对象。4.2 滚动等待rollout status在 gateway-only 部署模式下deployGatewayOnlyControlPlane 的执行顺序为应用 dev overlayapplyGatewayDevOverlay若有 env 则执行applyGatewayEnv注入环境变量若有自建镜像则执行applyGatewayImage更新镜像执行kubectl rollout status deployment/aibrix-gateway-plugins -n aibrix-system --timeout9m等待滚动完成外层 10 分钟超时。这段代码正是 READMEruntime env changes require a Deployment rollout的落地实现——patch 之后立刻等待 rollout确保新 env 生效后才继续。4.3 资源文件应用applyGatewayResourceFilesapplyGatewayResourceFiles 逐文件处理gatewayResourceFiles区分两种文件形态这是仓库内覆盖文件的编写规范含patchTarget顶层字段的文件解析出kind、name、namespace、type后剔除patchTarget字段将剩余文档序列化为 JSON执行kubectl patch kind name -n ns --typetype --patch json。type缺省时默认merge。不含patchTarget的普通清单文件直接kubectl apply -f path。在 DeployEngine 中引擎清单应用后会调用applyGatewayResourceFiles若存在资源覆盖文件还会再执行一次rollout status等待README 中expected to be applied after the gateway runtime configuration has been updated的对应实现。此外artifact_resolution.go 会在解析阶段对test.Gateway.Resources做文件存在性校验validateFiles(gateway resource override, ...)路径错误会在运行前被拦截。五、覆盖文件怎么写两类文件的完整模板下面结合仓库中的真实文件给出可直接套用的两种模板。5.1 补丁文件模板patchTarget形态用于修改共享的网关 Deployment副本数、资源规格、env 等。以 gateway-plugins-scaleup.yaml 为例它将网关副本数扩到 3、单副本资源提升到 4 CPU / 8GipatchTarget: kind: Deployment name: aibrix-gateway-plugins namespace: aibrix-system type: strategic spec: replicas: 3 template: spec: containers: - name: gateway-plugin resources: requests: cpu: 4 memory: 8Gi limits: cpu: 4 memory: 8Gi同目录下 routing/qwen3-8b-gateway-resources.yaml 展示了一个更激进的补丁将 gateway-plugin 单副本资源直接拉到 32 CPU / 64Gi 并清空args适用于高吞吐压测场景patchTarget: kind: Deployment name: aibrix-gateway-plugins namespace: aibrix-system type: strategic spec: replicas: 1 template: spec: containers: - name: gateway-plugin args: [] resources: requests: cpu: 32 memory: 64Gi limits: cpu: 32 memory: 64Gi注意一个细节applyGatewayResourceFiles中patchTarget.kind会先strings.ToLower再拼入命令因此kind: deployment与kind: Deployment均可识别见 routing/unset-routing-algorithm.yaml 中的写法。env 删除补丁若场景需要清除默认注入的ROUTING_ALGORITHM例如在两种路由算法场景间切换可以使用 strategic merge patch 的$patch: delete指令patchTarget: kind: deployment name: aibrix-gateway-plugins namespace: aibrix-system type: strategic spec: template: spec: containers: - name: gateway-plugin env: - name: ROUTING_ALGORITHM $patch: delete5.2 普通资源清单模板直接 apply 形态用于声明路由所需对象。以 vllm-pd/resources.yaml 为例它由三段组成1后端 Service——通过model.aibrix.ai/name与model.aibrix.ai/engine标签选择 vLLM PD 模型 PodapiVersion: v1 kind: Service metadata: name: vllm-pd-svc namespace: brixbench-adhoc labels: model.aibrix.ai/name: qwen3-32b spec: selector: model.aibrix.ai/name: qwen3-32b model.aibrix.ai/engine: vllm ports: - name: http protocol: TCP port: 8000 targetPort: 8000 type: ClusterIP2ReferenceGrant——授权aibrix-system命名空间中的 HTTPRoute 引用brixbench-adhoc命名空间中的 Service跨命名空间引用必需apiVersion: gateway.networking.k8s.io/v1beta1 kind: ReferenceGrant metadata: name: aibrix-system-to-vllm-pd-svc namespace: brixbench-adhoc spec: from: - group: gateway.networking.k8s.io kind: HTTPRoute namespace: aibrix-system to: - group: kind: Service3HTTPRoute——挂在aibrix-egGateway 上按model: qwen3-32b请求头精确匹配将/v1/completions与/v1/chat/completions流量转发到后端 Service 的 8000 端口并设置 120s 请求超时apiVersion: gateway.networking.k8s.io/v1 kind: HTTPRoute metadata: name: vllm-pd-router namespace: aibrix-system spec: parentRefs: - group: gateway.networking.k8s.io kind: Gateway name: aibrix-eg namespace: aibrix-system rules: - backendRefs: - group: kind: Service name: vllm-pd-svc namespace: brixbench-adhoc port: 8000 weight: 1 matches: - headers: - name: model type: Exact value: qwen3-32b path: type: PathPrefix value: /v1/completions - headers: - name: model type: Exact value: qwen3-32b path: type: PathPrefix value: /v1/chat/completions timeouts: request: 120srouting/qwen3-8b-route.yaml 是同一模式的 qwen3-8b 版本可作为换模型即换路由的对照模板。六、在场景文件中启用覆盖gateway.env 与 gateway.resources覆盖文件本身不会被自动加载必须由基准测试场景Scenario显式引用。仓库中多个场景展示了标准写法6.1 最小示例PD 路由 路由资源aibrix-gateway-minimal.yaml 中测试用例通过gateway.env将ROUTING_ALGORITHM设为pd通过gateway.resources引入vllm-pd/resources.yamlScenario: aibrix-gateway-minimal Tests: - name: aibrix-main-d41653b provider: aibrix commit: d41653b26cf1257157e34ff35ee5f028644473a8 engine: type: vllm manifest: testdata/deployments/aibrix/models/model.yaml benchmark: testdata/benchmarks/vllm-chat-smoke.yaml gateway: image: baseImage: aibrix-public-release-cn-beijing.cr.volces.com/aibrix/gateway-plugins:v0.6.0 outputRepository: aibrix-public-release-cn-beijing.cr.volces.com/aibrix/gateway-plugins env: ROUTING_ALGORITHM: pd resources: - testdata/deployments/aibrix/gateway/overrides/vllm-pd/resources.yaml6.2 对比实验同引擎、不同路由算法aibrix-batching-comparison.yaml 用两个测试用例对比非聚合/聚合两种网关配置非聚合用例用ROUTING_ALGORITHM: random 普通model.yaml聚合用例用ROUTING_ALGORITHM: pdpd-model.yaml两者都通过gateway.resources加载 gateway-plugins-scaleup.yaml 提升网关容量避免网关成为压测瓶颈- name: aibrix-v0.6.0-nondisaggregated provider: aibrix fullstack: false version: v0.6.0 engine: type: vllm manifest: testdata/deployments/aibrix/models/model.yaml benchmark: testdata/benchmarks/vllm-chat-smoke-random.yaml gateway: image: baseImage: aibrix-public-release-cn-beijing.cr.volces.com/aibrix/gateway-plugins:v0.6.0 outputRepository: aibrix-public-release-cn-beijing.cr.volces.com/aibrix/gateway-plugins env: ROUTING_ALGORITHM: random resources: - testdata/deployments/aibrix/gateway/overrides/gateway-plugins-scaleup.yaml关键字段速查字段类型说明gateway.envmap注入到aibrix-gateway-pluginsDeployment 的环境变量修改 Pod 模板触发滚动gateway.resources文件列表含patchTarget的走kubectl patch普通清单走kubectl applygateway.image.baseImage/outputRepositorystring网关镜像来源可结合applyGatewayImage切换自建镜像fullstackboolfalse时仅部署网关gateway-only 模式复用共享aibrix-system控制面七、最佳实践与注意事项环境变量改动必须等待 rollout修改ROUTING_ALGORITHM等 env 后deployer 会执行rollout status9 分钟超时因此在设计自己的覆盖时无需手动等待但若在 benchmark 流程外手工kubectl set env请务必自行执行kubectl rollout status deployment/aibrix-gateway-plugins -n aibrix-system。路由资源后置应用HTTPRoute/ReferenceGrant/Service应在网关运行时配置更新之后再应用顺序由 deployer 保证applyGatewayEnv→ 滚动 →applyGatewayResourceFiles手工操作时也要遵循同一顺序避免路由先行、后端未就绪。跨命名空间引用必须配 ReferenceGrantaibrix-system的 HTTPRoute 引用brixbench-adhoc的 Service 时必须在目标命名空间创建 ReferenceGrant缺失会导致路由规则被 Envoy Gateway 拒绝。$patch: delete适合算法切换场景当需要在同一共享 Deployment 上先清掉默认算法、再注入新算法时unset-routing-algorithm.yaml是现成的模板。网关容量与压测吞吐匹配高 QPS 场景建议复用gateway-plugins-scaleup.yaml3 副本 × 4CPU/8Gi或更激进的 32CPU/64Gi 补丁避免网关自身成为基准测试的瓶颈。八、进一步阅读覆盖机制完整实现brixbench/internal/deployers/aibrix.go部署接口与配置结构brixbench/internal/deployers/deployer.go场景文件如何引用覆盖brixbench/benchmark/testdata/scenarios/aibrix-gateway-minimal.yaml、brixbench/benchmark/testdata/scenarios/aibrix-batching-comparison.yaml网关插件环境变量全集pkg/plugins/gateway/ENV_VARS.md路由算法文档pkg/plugins/gateway/algorithms/覆盖草稿目录本文主题brixbench/benchmark/testdata/deployments/aibrix/gateway/overrides/【免费下载链接】aibrixCost-efficient and pluggable Infrastructure components for GenAI inference项目地址: https://gitcode.com/GitHub_Trending/ai/aibrix创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
