SkyRL GRPO：SageMaker HyperPod上Qwen3-VL-8B RL训练加速

SkyRL GRPO：SageMaker HyperPod上Qwen3-VL-8B RL训练加速

在 Amazon SageMaker HyperPod 上运行 SkyRL 的 GRPO（Group Relative Policy Optimization）算法，可对 Qwen3-VL-8B 多模态模型实现高效 RL 后训练。SkyRL 框架结合 vLLM 推理与 FSDP 训练，借助共享存储实现训练与推理的无缝切换，显著缩短多轮 RL 训练周期。

此方案适合已有 SageMaker HyperPod 集群并熟悉 Ray 集群管理的用户。决策依据包括：需 GPU 集群（至少 3 个 ml.g7e.12xlarge 实例 + 1 个头节点）、Amazon FSx for Lustre 共享存储，以及 SageMaker Studio 的完整权限。无需单独 GPU 池即可避免训练-推理切换的空转开销。

以下步骤基于官方 2026 年 9 月 25 日发布的技术博客，聚焦可执行路径。所有操作均在 AWS 官方环境内完成。

环境准备

• SageMaker HyperPod 集群（3x ml.g7e.12xlarge 实例 + 1x ml.r5d.16xlarge 头节点）
• 安装 KubeRay、HyperPod Observability EKS add-on 和 HyperPod Ray Endpoint Operator
• Amazon FSx for Lustre 文件系统及对应的 PVC（ReadWriteMany 卷）
• SageMaker Studio 域与 toolkit-for-ray-on-sagemaker-ai 包

构建容器镜像

创建 Dockerfile（基于 novaskyai 官方镜像）：

FROM novaskyai/skyrl-train-ray-2.57.0-py3.12-cu13.0



ENV HF_HUB_ENABLE_HF_TRANSFER=1 \

 QWEN_VL_MODEL=Qwen/Qwen3-VL-8B-Instruct



ARG SKYRL_REF=4298730b55bb01fe1b711662df53dca42a3b7615

RUN git clone /home/ray/skyrl \

 && cd /home/ray/skyrl && git checkout ${SKYRL_REF} \

 && cd /home/ray/skyrl/skyrl-train \

 && uv sync --active --extra fsdp



ARG VISGYM_REF=184fbd5e5dc81e32c8b944d9e40ac54dad62e3f2

RUN git clone /home/ray/visgym \

 && cd /home/ray/visgym && git checkout ${VISGYM_REF} \

 && uv pip install --python /home/ray/anaconda3/bin/python -e . "pygame==2.6.1"

在 ECR 构建并推送镜像（示例 URI：your-account.dkr.ecr.us-west-2.amazonaws.com/ray/skyrl-visgym:latest）。

启动 Ray 集群

在 SageMaker Studio 的 HyperPod 页签，创建 RayCluster：

• 集群名称：skyrl-visgym
• 头节点：ml.r5d.16xlarge
• 工作节点：3x ml.g7e.12xlarge
• 容器镜像：上述 ECR URI
• 挂载 FSx PVC 并开启 Remote Endpoints

集群就绪后，即可通过 SageMaker Studio Tasks 页打开 Ray Dashboard 与 Grafana。

准备训练脚本

保存为 train_job.sh（示例参数）：

#!/usr/bin/env bash

... 省略完整脚本 ...

# 关键配置：colocate_all=true、lora_sync_path=/shared、n_samples_per_prompt=8、max_turns=15

# ckpt_interval=20、hf_save_interval=20、eval_interval=10

提交与监控训练

使用 ray job submit --address sagemaker_ray://skyrl-visgym/default -- bash train_job.sh 提交。

监控方式：

• Ray Dashboard（Jobs 视图）：查看 GPU 利用率与步数
• Amazon Managed Grafana：Ray Core、Ray Train 面板

训练过程中，每 10 步评估一次 solve rate。官方示例中，Qwen3-VL-8B 从 43.75% 提升至 96.875%（62/64 迷宫）。

部署推理端点

训练完成后，将 LoRA Adapter 复制至 S3 前缀。

使用 Ray Serve（Deep Learning Container）配置 serveConfigV2，指定 dynamic_lora_loading_path 与 max_lora_rank=32，即可通过 OpenAI 兼容 API 调用（model=visgym-qwen3vl:maze-grpo 触发 GRPO 适配器）。

延伸阅读

• [SageMaker HyperPod 文档]
• [Ray on HyperPod 快速入门]
• [SkyRL 官方仓库示例]
• [VisGym 环境介绍]
• [Ray Serve LLM 多 LoRA 指南]

风险与边界

使用前请务必评估费用：GPU 时长 + FSx 存储 + ECR 镜像存储 + Ray Serve 部署。HyperPod 集群规模越大，成本随之增加。RooHome 提供的 SkyRL GRPO 路径仅供参考，实际操作结果以 AWS 官方文档与您当前账号数据为准。

非法律意见声明：本文基于 2026 年 9 月 25 日 AWS 官方博客技术细节整理，仅供学习与决策参考。RooHome 不提供任何形式的法律、财务或技术支持，不保证任何结果。建议您始终以 AWS 官方文档为准。

---