Skill 多语言阅读指南
trl-training用途、用法与原始来源
使用 TRL（Transformers 强化学习）对 LLM 进行后训练——包括 SFT、DPO、GRPO、KTO 和奖励模型训练。在编写或调试使用 TRL Python API 或 trl CLI 的训练代码时可以使用。
原文采集时间:
- SKILL.md
skills/trl-training/SKILL.md- 仓库 Star
- 11,241
- 仓库最近更新
- 2026/10/30
- 能力分类
- 开发
- 最近采集时间
许可：Apache-2.0
流程片段用于帮助阅读上游说明。本页没有执行第三方 Skill，不属于实测评测。
下面的用途和操作片段来自上游文档，由本站整理并翻译，和另行标注的 Codez 编辑分析分开展示。
这个 Skill 能做什么
使用 TRL（Transformers 强化学习）对 LLM 进行后训练——包括 SFT、DPO、GRPO、KTO 和奖励模型训练。在编写或调试使用 TRL Python API 或 trl CLI 的训练代码时可以使用。
如何使用：上游操作流程
TRL
每种方法都配对*Trainer一个班级*Config数据类。配置扩展transformers.TrainingArguments因此，它的所有参数在任何训练器配置中都有效。还有许多其他训练器（OnlineDPO、ORPO、CPO、GKD 等）也存在于此。trl.experimentalAPI不稳定：https://huggingface.co/docs/trl/experimental_overview
数据集格式
对话式：{"messages": [{"role": ..., "content": ...}]}（语言建模）或{"prompt": [...], "completion": [...]}聊天模板会自动应用——切勿手动应用。允许添加额外列；GRPO 会将这些列转发给奖励功能。参考：https://huggingface.co/docs/trl/dataset_formats
GRPO：在线RL
奖励函数通过关键字参数调用。prompts，completions，completion_ids，trainer_state加上每个额外的数据集列——接受kwargs对于那些你忽略的人。返回list[float]每次完成任务即可获得一份奖励。利用对话数据，completions是一个消息列表的列表，而不是字符串。生成批次是per_device_train_batch_size × num_processes × steps_per_generation（或设置）generation_batch_size直接）且必须能被……整除num_generations（默认8生成通常是瓶颈——启用 vLLMuse_vllm=True：vllm_mode="colocate"共享训练 GPU（大小为vllm_gpu_memory_utilization）；vllm_mode="server"使用单独的trl vllm-serve --model 。
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B", # model ID or a PreTrainedModel instance
args=SFTConfig(output_dir="Qwen2.5-0.5B-SFT"),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()环境与依赖
本次未从该文件选出独立的环境要求片段，不代表无需依赖。请继续核对仓库的安装说明和引用文件。
限制与结果检查
本次未从该文件选出独立的限制片段，不代表适用于所有输入或环境。请阅读完整原文，并自行验证实际结果。
开始使用前
- 先核对支持的 Agent 宿主和仓库安装说明。保留完整 Skill 目录及其引用的脚本、资源和文档，只复制 SKILL.md 可能漏掉依赖。
- 向 Agent 提供实际输入、期望输出和验收标准。调用方式与可用工具取决于宿主环境，本站不假定存在通用的安装命令。
- 先在临时项目或输入副本上试用。涉及修改文件、远程服务或计费资源的操作，应逐项核对后再授权。
- 按照原文检查项和自己的需求验证输出。成功触发或仓库 Star 较高，都不能证明结果正确。
继续阅读原始文档
相关 Skill
翻译与介绍范围
本页从固定版本的上游 SKILL.md 整理用途与操作片段，译文使用辅助翻译。它不是完整手册，也不代表经过兼容性实测；使用前请核对原文及其引用文件。
介绍依据下方列出的固定版本；当前仓库动态和目录采集时间单独展示。
- 固定版本来源
- 阅读原文 ↗
- 原文采集时间
- 来源提交版本
fabc634a893f62ad5c2039830397efa35fa62715- 原文 SHA-256
42c855bdc6171390abc7413cdb19bd4fd8dddfb31094d519a874427de08ddc2a