跳到主要内容

训练与评估

Hugging Face TRL

在 TRL GRPO 训练期间,于 E2B 沙箱中为模型编写的代码评分。生成的程序在远程运行,与您的训练数据和凭据隔离。

维护方
E2B
集成方式
GRPOTrainer 的异步奖励函数
软件包
trl 1.14.2
语言
Python

配置

快速开始

将提示词粘贴到您的编程智能体中,或按以下步骤自行配置。

粘贴到您的编程智能体中

为这个 TRL 项目添加 E2B 沙箱。

  1. 1.从 E2B cookbook 获取 trl-grpo-python 示例,并用项目的包管理器安装。
  2. 2.奖励池需要 E2B_API_KEY 环境变量。如果尚未设置,请向我索要 API 密钥(在 https://console.e2b.dev/?tab=keys 获取)。切勿将其硬编码。
  3. 3.按照 https://docs.e2b.dev/agents/trl 上的 TRL 指南操作,将奖励池的异步 code_reward 作为 reward_funcs 传给 GRPOTrainer,让生成的程序在 E2B 沙箱中运行。在 finally 块中关闭奖励池。
  4. 4.运行一次奖励冒烟测试,并展示来自沙箱的评分。

或自行配置

  1. 1. 获取示例,并在 .env 中设置 E2B_API_KEY

    git clone https://github.com/e2b-dev/e2b-cookbook.git
    cd e2b-cookbook/examples/trl-grpo-python
    uv sync --locked --python 3.12 --no-dev
    cp .env.example .env
  2. 2. 无需 GPU,为固定程序评分

    uv run --locked --no-dev --env-file .env python reward_smoke.py
  3. 3. 将奖励传给 GRPOTrainer

    import asyncio
    
    from datasets import Dataset
    from trl import GRPOTrainer
    
    from rewards import RewardPool
    from tasks import EVAL_TASKS, TRAIN_TASKS
    
    pool = RewardPool(args.sandbox_workers, args.create_interval)
    try:
        trainer = GRPOTrainer(
            model=args.model,
            args=config,
            reward_funcs=pool.code_reward,
            train_dataset=Dataset.from_list(TRAIN_TASKS),
            eval_dataset=Dataset.from_list(EVAL_TASKS),
        )
        trainer.train()
    finally:
        asyncio.run(pool.close())
  4. 4. 检查基线,然后开始训练

    uv sync --locked --python 3.12 --extra training --no-dev
    uv run --locked --extra training --no-dev --env-file .env python train.py \
      --model "$TRAIN_MODEL" --baseline-only
    uv run --locked --extra training --no-dev --env-file .env python train.py \
      --model "$TRAIN_MODEL"

安全

沙箱中运行的内容

生成和权重更新留在您的训练机器上。E2B 只运行候选程序。

  • 代码每个生成的程序都在池化的 worker 沙箱上运行,每个测试用例使用一个全新的隔离进程。
  • 评分预期输出和奖励计算留在主机上。候选程序只会收到测试输入。
  • 限制每个测试 2 秒、64 KiB 输出,每个 worker 都禁用出站互联网访问。
  • 生命周期worker 的 TTL 为 600 秒,奖励池存续期间会自动续期。在 finally 中关闭奖励池即可终止它们。

已启动 30亿+ 个沙箱

为每个智能体 配一台机器