随着大模型厂商不断增加，企业往往需要同时接入 OpenAI、Claude、DeepSeek、Gemini 等模型。为了降低集成成本，统一管理模型供应商、API 接口、调用费用和用户额度，模型聚合平台（Model Aggregation Platform）逐渐成为重要的基础设施。
一、AWS Bedrock：企业级模型托管平台
AWS Bedrock 是亚马逊云科技提供的全托管生成式 AI 服务平台，集成了 Amazon、Anthropic、Meta 等厂商的基础模型，支持文本生成、Embedding、图像生成、模型微调等能力。
Bedrock 不只是简单的 API 中转。AWS 与模型厂商合作，将模型部署或托管在 AWS 基础设施上，通过统一 API 提供服务。用户向 AWS 支付调用费用，AWS 与模型厂商按照商业协议结算，具体分成比例通常不公开。
其核心优势是统一模型接入、按量计费、弹性扩容，以及与 AWS IAM、VPC、CloudWatch 等服务深度集成。
二、类似的商业平台
目前，国内外云厂商均提供类似服务：
| 厂商 | 平台 |
|---|---|
| AWS | Bedrock |
| Microsoft | Azure AI Foundry |
| Vertex AI Model Garden | |
| 阿里云 | 百炼 Model Studio |
| 火山引擎 | 方舟 Ark |
| 百度智能云 | 千帆大模型平台 |
| 华为云 | ModelArts |
此外，还有独立模型聚合平台：
- OpenRouter：聚合大量模型供应商，提供统一 API 和按量计费。
- Together AI：提供开源模型推理托管。
- Fireworks AI：提供高性能模型推理服务。
- Groq：专注低延迟模型推理。
三、开源模型聚合与 API 网关
如果希望自行搭建模型供应商聚合、统一 API 和渠道分销平台，可以考虑以下开源项目：
| 项目 | 技术栈 | 核心能力 |
|---|---|---|
| New API | Go | 多渠道、模型映射、用户额度、倍率计费、渠道分销 |
| One API | Go | 多供应商接入、负载均衡、API Key 管理 |
| LiteLLM | Python | 统一模型接口、智能路由、故障转移、预算管理 |
| Bifrost | Go | 高性能 AI Gateway、加权路由、密钥和预算管理 |
其中，New API 更接近完整的模型 API 分销平台；LiteLLM 和 Bifrost 更侧重底层模型网关能力。
四、如何选择技术方案
如果目标是搭建商业化模型 API 分销平台，New API 提供了较完整的业务体系，可以参考其渠道管理、用户额度和计费设计。
如果目标是建设企业内部统一 LLM Gateway，则更适合参考 LiteLLM 和 Bifrost，重点关注供应商适配、模型映射、加权路由、故障转移和请求追踪。
对于自研平台，可以采用分层架构：
- 供应商管理：维护厂商、协议、模型、价格及模型能力。
- 模型路由：支持加权调度、条件路由和故障转移。
- 统一 API：兼容 OpenAI、Anthropic 等主流协议。
- 计费管理：统计 Token 用量、调用成本和用户额度。
- 渠道分销：管理 API Key、用户、分组和上下游结算。
核心原则是将模型供应商适配、请求路由与业务计费解耦，避免将模型网关和分销平台做成一个高度耦合的系统。
