Hugging Face TRL
在 TRL GRPO 训练期间,于 E2B 沙箱中为模型编写的代码评分。生成的程序在远程运行,与您的训练数据和凭据隔离。
- E2B
- GRPOTrainer 的异步奖励函数
- trl 1.14.2
- Python
快速开始
将提示词粘贴到您的编程智能体中,或按以下步骤自行配置。
粘贴到您的编程智能体中
为这个 TRL 项目添加 E2B 沙箱。
- 1.从 E2B cookbook 获取 trl-grpo-python 示例,并用项目的包管理器安装。
- 2.奖励池需要 E2B_API_KEY 环境变量。如果尚未设置,请向我索要 API 密钥(在 https://console.e2b.dev/?tab=keys 获取)。切勿将其硬编码。
- 3.按照 https://docs.e2b.dev/agents/trl 上的 TRL 指南操作,将奖励池的异步 code_reward 作为 reward_funcs 传给 GRPOTrainer,让生成的程序在 E2B 沙箱中运行。在 finally 块中关闭奖励池。
- 4.运行一次奖励冒烟测试,并展示来自沙箱的评分。
或自行配置
1. 获取示例,并在 .env 中设置 E2B_API_KEY
2. 无需 GPU,为固定程序评分
3. 将奖励传给 GRPOTrainer
4. 检查基线,然后开始训练
沙箱中运行的内容
生成和权重更新留在您的训练机器上。E2B 只运行候选程序。
- 每个生成的程序都在池化的 worker 沙箱上运行,每个测试用例使用一个全新的隔离进程。
- 预期输出和奖励计算留在主机上。候选程序只会收到测试输入。
- 每个测试 2 秒、64 KiB 输出,每个 worker 都禁用出站互联网访问。
- worker 的 TTL 为 600 秒,奖励池存续期间会自动续期。在 finally 中关闭奖励池即可终止它们。
