在亚马逊ECS与Bedrock上配置OpenAI ChatGPT Codex与LiteLLM

亚马逊云科技（AWS）官方博客近日发布了一篇技术指南，详细介绍了如何在亚马逊云上搭建一套企业级生成式AI编程助手管控方案。该方案的核心是将OpenAI的ChatGPT Codex与开源AI网关LiteLLM进行整合，部署在Amazon ECS（弹性容器服务）和Amazon Bedrock（亚马逊云大模型服务平台）之上，为开发团队提供一个集中式的模型访问控制点。 这一部署架构的初衷，源于企业AI应用从个人尝鲜走向规模化落地时面临的治理难题。当开发者各自为战使用AI编程工具时，企业无法统一管控模型访问权限、追踪Token消耗成本，也难以设定预算和速率限制。AWS提出的这套方案，将LiteLLM作为一道位于Codex与Bedrock之间的“智能闸门”，所有模型请求都经由它进行身份验证、路由分发、预算控制和用量记录。而Codex本身仍负责在开发者本地工作站执行任务循环，包括读取本地文件、运行测试以及在沙箱环境中执行被批准的工具操作，这种“本地执行+云端管控”的分离设计，既保留了AI编程助手的灵活性，又让企业IT团队获得了集中治理的能力。 从技术实现路径来看，整个请求流程分为五个步骤：Codex将任务上下文和工具定义发送至LiteLLM网关的/v1/responses端点；应用负载均衡器和AWS WAF（Web应用防火墙）先进行网络层防护；随后LiteLLM验证调用者身份、检查模型配置和消费策略，并通过其ECS任务角色调用Bedrock上已获批准的模型；模型返回文本或函数调用结果后，若需要执行工具，Codex会在本地沙箱中运行并返回结果，如此循环直至任务完成。该参考部署还整合了多项配套服务：Amazon RDS for PostgreSQL用于存储LiteLLM的状态和预算数据，AWS Secrets Manager和KMS负责密钥管理，CloudWatch提供日志和监控告警，ECR保存不可变的网关镜像。 AWS在指南中特别强调了这一架构的边界：网关不会在AWS账户中获得通用Shell权限，也不会取代Codex本地的审批机制，它只对每一次模型调用进行治理。对于企业而言，选择这种方案还是更简单的直连方式，取决于自身需求——如果原生AWS身份认证、IAM策略和CloudTrail日志已能满足合规要求，直连Bedrock是复杂度最低的选择；而当系统团队需要在不同开发者、团队或模型之间实施统一管控策略时，引入LiteLLM网关则更具优势。此外，AWS也提到了另一种替代方案：直接使用AWS IAM Identity Center访问，或采用Portkey等托管网关，具体选择需根据企业的IT治理成熟度和运维能力来权衡。