全景路径

vLLM-Omni 部署在 AWS SageMaker AI

Deploy two generative media models from one AWS vLLM-Omni Deep Learning Container on Amazon SageMaker AI. Generate an image with FLUX.2-klein through real-time inference, then anim

가이드 목록 · 본문은 주로 중국어 간체입니다. 영문 요약(English summary)을 참고하세요.

# vLLM-Omni 部署在 AWS SageMaker AI

你正在寻找从一个容器同时运行生成图像和视频模型的路径吗？vLLM-Omni 配合 AWS SageMaker AI 可以完成这项任务：通过实时推理调用 FLUX.2-klein 生成图片，再用图像条件动画生成视频。这对开发者、内容创作者和需要多模态 AI 推理的团队特别适用。

适用场景：如果你在 AWS 上部署生产级生成式应用，需要低延迟图像输出和高时长视频任务，却不想管理多个容器镜像，vLLM-Omni DLC 就是最优选择。它复用同一个基础镜像，通过路由中间件实现高效分发。

决策依据：直接看官方部署示例（2026-09-28 发布），确认 GPU 实例类型和异步推理模式匹配你的负载。RooHome 提供全景路径分流后，你可以根据意图跳转独立垂直站获取更多数据。

为什么选择 vLLM-Omni + SageMaker

vLLM-Omni 扩展了 vLLM，支持文本、图像、视频等多模态通过 OpenAI 兼容 API 提供服务。AWS SageMaker AI 则提供托管环境、自动扩展和计费监控。核心优势是单容器多模型：一个 DLC 镜像可部署实时端点（图像）和异步端点（视频），节省部署和维护成本。

核心架构

同一个容器加载不同模型：

实时端点：运行 FLUX.2-klein，路由到 /v1/images/generations（响应几秒内返回 base64 PNG）。
异步端点：运行 Wan2.1-VACE，路由到 /v1/videos/sync（通过 S3 上传/下载 MP4）。

请求流程：CLI 或 Streamlit 应用先调用图像端点，处理 PNG 后上传到 S3，再提交视频请求，异步完成。

准备工作

1. AWS 账户 + 已配置凭证。

2. SageMaker 执行角色（需 S3 权限和创建端点权限）。

3. Git、Python 3.11+。

4. 区域配额（ml.g6.xlarge / ml.g6e.xlarge）。

参考官方定价页面：以估算 GPU 小时成本。

部署步骤

1. 克隆示例仓库：


 git clone 

 cd sagemaker-genai-hosting-examples/03-features/vllm-omni-image-video

2. 创建虚拟环境并安装依赖：


 python -m venv .venv

 source .venv/bin/activate

 pip install -r requirements.txt

3. 部署端点（设置 SM_VLLM_MODEL 环境变量）：


 export SAGEMAKER_ROLE_ARN=你的角色 ARN

 python deploy.py --role-arn "$SAGEMAKER_ROLE_ARN" --region us-east-1

脚本会创建实时图像端点和异步视频端点，保存状态到 .vllm_omni_media_state.json。

4. 执行生成命令：


 python generate.py --image-prompt "Cinematic photograph of a coastal observatory at sunrise" --video-prompt "Slow camera push-in toward the coastal observatory; preserve the building and coastline"

图像返回后，脚本自动处理、上传、异步调用并保存 MP4 到 outputs/ 目录。

5. 启动 Streamlit 界面（可选）：


 streamlit run app.py

在界面中调整提示词、尺寸和种子，直接生成并下载图像 + 视频。

6. 清理资源：


 python cleanup.py

完整代码和部署脚本请参阅 AWS 官方示例仓库：

成本与性能参考

项目	实时图像端点	异步视频端点
实例类型	ml.g6.xlarge	ml.g6e.xlarge
启动时间	~9.5 分钟	~8.7 分钟
图像延迟	4.7 秒（warm）	—
视频模型延迟	—	8.9 秒
总获取 MP4	—	~11.8 秒

数据为单次运行参考值，实际以官方 SageMaker 定价页为准：

风险与边界

不要尝试：非官方修改器或绕过支付机制，这些可能导致账号封禁、费用失控或法律风险。vLLM-Omni 官方仅支持授权的 Hugging Face 模型和 AWS 认证。

常见误判：以为异步模式适合所有视频任务；实际大批量生产可能仍需优化 VAE 切片和实例类型。升级 DLC 或模型版本后，务必测试端点稳定性——升级后必挂风险高。