RooHome 自助 LLM 网关：Bedrock + LiteLLM 中转路径

RooHome 自助 LLM 网关 是开发者通过 LiteLLM 在 AWS Fargate 上搭建的 OpenAI 兼容代理，让 Amazon Bedrock 的基础模型直接暴露为标准 API 接口。开发者只需修改 IDE 配置即可即时接入 Claude、Grok 等模型，无需直接与 Bedrock 交互。平台方可实现按用户隔离费用与全链路观测，便于 Ro oHome 读者评估 AI 价格雷达与订阅路径。

谁适合？常在 Cursor、Claude Code 或 Continue 中切换模型的开发者；预算有限需费用隔离的用户；或希望通过一站式 AI 价格对比长期成本的团队。决策核心：如果你的工具已连接 OpenAI 兼容端，且需要模型提供商分离的控制，此网关正是匹配路径。

为什么选择此中转路径

此方案在 AWS 官方博客中发布，核心优势在于中转代理 + 费用隔离 + 全链路可观测性。开发者端统一使用单个 API 密钥与基础 URL，模型可自由替换。平台方通过 LiteLLM 内置虚拟密钥与预算策略，精确归因 Token 消耗，避免多供应商费用交叉。CloudWatch 可观测性与 Langfuse 观测工具，实现每分钟请求与 Token 指标实时告警。

相比直接调用 Bedrock，开发者无需管理 IAM 角色与跨 Region 路由；平台方无需维护多个模型凭证。实际效果是：开发者配置一次性完成，平台端可快速调整按项目追踪成本。此路径特别适合 roohome.cn 读者做 AI 比价与风险评估——你只需关注是否匹配自家预算与合规要求。

核心架构与数据流

架构分为五层，从开发者侧到 Bedrock 底层：

• 开发者工具：指向 LiteLLM Fargate 暴露的 OpenAI 兼容端（如 `
• LiteLLM 代理：处理认证、路由与限速。
• AWS Fargate：容器服务，启用目标跟踪自动伸缩。
• 存储与缓存：RDS PostgreSQL 记录键与支出状态，ElastiCache Valkey 缓存响应。
• Bedrock 推理配置文件：通过 AWS CDK 创建隔离的 Application Inference Profile，绑定具体模型（如 Claude Sonnet）。

数据流示意：开发者请求 -> LiteLLM 鉴权 -> 解析模型到 Bedrock ARN -> 底层调用 -> 返回 OpenAI 格式响应。整体流程在单次配置下完成，无需开发者感知后端差异。

开发者端配置（仅改 IDE）

开发者只需三步完成切换：

1. 在 IDE 设置中添加 OpenAI 兼容配置（以 Cursor 为例）：

- base URL：网关端点（如 `

- API 密钥：从自助门户领取的 sk-user-xxx

- 模型：claude-sonnet-4-20250514（示例）

2. 保存后，重启工具或重新生成代码。

3. 验证：输入简单提示，确认返回结果与原模型一致。

此配置一劳永逸，未来切换模型或添加 fallback 均无需再次调整 IDE。更多细节可参考 roohome.cn 官方 API 页面。

LiteLLM 中转层搭建（Fargate 版）

LiteLLM 是开源代理，部署在 AWS Fargate 实现自助网关。配置文件示例（config.yaml）：

model_list:

 - model_name: claude-sonnet-4-20250514

 litellm_params:

 model: bedrock/arn:aws:bedrock:us-east-1:xxx:application-inference-profile/sonnet-profile-id

 aws_region_name: us-east-1

 model_info:

 input_cost_per_token: 0.000003

 output_cost_per_token: 0.000015



litellm_settings:

 max_budget: 250 # 每密钥每日限额

 budget_duration: 7d

 max_parallel_requests: 10

 cache: true

 database_url: os.environ/DATABASE_URL

环境变量从 AWS Secrets Manager 注入：LITELLM_MASTER_KEY 与 DATABASE_URL。Fargate 任务启用 CPU 目标跟踪 70% 触发伸缩，确保高并发无中断。

费用与观测隔离机制

LiteLLM 默认支持虚拟密钥与滚动预算策略，精确匹配 Bedrock 定价。平台方可通过 RDS 记录每用户 Token 消耗，生成精确账单。CloudWatch 指标包括 RPM（请求/分钟）与 TPM（Token/分钟），告警阈值配置后实时通知。Langfuse 可补充提示级延迟与错误追踪，构成完整可观测链路。

实际场景示例

开发者在 Cursor 中使用此网关时，切换 Claude Haiku 与 Sonnet 仅需修改模型名称。平台方可设置不同密钥的每日预算，实现按部门隔离费用。相比直接 Bedrock 调用，此中转路径减少了 IAM 配置复杂度，同时保留了全模型支持与跨 Region 路由能力。

延伸阅读

• roohome.cn 官方 API 页面：查看当前可用模型与定价对照
• roohome.cn 官方价格页面：获取 Bedrock 基础模型实时 $ /M 数据
• roohome.cn API 中转专页：深入当前网关配置最佳实践
• roohome.cn 价格雷达：对比多个供应商 Token 成本
• roohome.cn 指南总览：更多自助 AI 路径参考

风险与边界

此方案依赖 AWS 服务，存在区域可用性、IAM 权限配置与密钥管理风险。请务必遵循官方文档更新 IAM 策略与加密要求，避免权限越界导致费用意外增加。升级 LiteLLM 或 Bedrock 后，需验证兼容性；否则可能出现 API 格式不一致或限速失效。非官方修改器、注入或绕过支付行为均属高风险，建议严格遵守 AWS 服务条款。

免责声明：本文仅供技术参考，不构成法律意见。实际部署请咨询 AWS 专业服务与合规团队，以官方/挂牌页当日数据为准。RooHome 读者在使用过程中需自行评估风险与边界。