Skill 多語言閱讀指南
trl-training用途、用法與原始來源
使用 TRL（Transformers 強化學習）對 LLM 進行後訓練－包括 SFT、DPO、GRPO、KTO 和獎勵模型訓練。在編寫或調試使用 TRL Python API 或 trl CLI 的訓練程式碼時可以使用。
原文擷取時間:
- 來源儲存庫
- huggingface/skills
- SKILL.md
skills/trl-training/SKILL.md- 儲存庫 Star
- 11,241
- 儲存庫最近更新
- 2026-10-30
- 能力分類
- 開發
- 最近採集時間
授權：Apache-2.0
流程片段用來協助閱讀上游說明。本頁沒有執行第三方 Skill，不屬於實測評測。
下面的用途與操作片段來自上游文件，由本站整理並翻譯，和另行標示的 Codez 編輯分析分開呈現。
這個 Skill 能做什麼
使用 TRL（Transformers 強化學習）對 LLM 進行後訓練－包括 SFT、DPO、GRPO、KTO 和獎勵模型訓練。在編寫或調試使用 TRL Python API 或 trl CLI 的訓練程式碼時可以使用。
如何使用：上游操作流程
TRL
每種方法都配對*Trainer一個班級*Config數據類。配置擴充transformers.TrainingArguments因此，它的所有參數在任何訓練器配置中都有效。還有許多其他訓練器（OnlineDPO、ORPO、CPO、GKD 等）也存在於此。trl.experimentalAPI不穩定：https://huggingface.co/docs/trl/experimental_overview
資料集格式
對話式：{"messages": [{"role": ..., "content": ...}]}（語言建模）或{"prompt": [...], "completion": [...]}聊天模板會自動套用－切勿手動套用。允許新增額外欄位；GRPO 會將這些欄位轉送給獎勵功能。參考：https://huggingface.co/docs/trl/dataset_formats
GRPO：線上RL
獎勵函數透過關鍵字參數呼叫。prompts，completions，completion_ids，trainer_state加上每個額外的資料集列——接受kwargs對於那些你忽略的人。返回list[float]每次完成任務即可獲得一份獎勵。利用對話數據，completions是一個訊息列表的列表，而不是字串。產生批次是per_device_train_batch_size × num_processes × steps_per_generation（或設定）generation_batch_size直接）且必須能被…整除num_generations(預設8生成通常是瓶頸——啟用 vLLMuse_vllm=True：vllm_mode="colocate"共享訓練 GPU（大小為vllm_gpu_memory_utilization）；vllm_mode="server"使用單獨的trl vllm-serve --model 。
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B", # model ID or a PreTrainedModel instance
args=SFTConfig(output_dir="Qwen2.5-0.5B-SFT"),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()環境與相依需求
本次未從該檔案選出獨立的環境需求片段，不代表無須相依套件。請繼續核對儲存庫的安裝說明和引用檔案。
限制與結果檢查
本次未從該檔案選出獨立的限制片段，不代表適用於所有輸入或環境。請閱讀完整原文，並自行驗證實際結果。
開始使用前
- 先核對支援的 Agent 宿主和儲存庫安裝說明。保留完整 Skill 目錄及其引用的腳本、資源和文件，只複製 SKILL.md 可能遺漏相依需求。
- 向 Agent 提供實際輸入、預期輸出和驗收標準。呼叫方式與可用工具取決於宿主環境，本站不假定存在通用的安裝指令。
- 先在暫存專案或輸入副本上試用。涉及修改檔案、遠端服務或計費資源的操作，應逐項核對後再授權。
- 依照原文檢查項目和自己的需求驗證輸出。成功觸發或儲存庫 Star 較高，都不能證明結果正確。
繼續閱讀原始文件
相關 Skill
翻譯與介紹範圍
本頁從固定版本的上游 SKILL.md 整理用途與操作片段，譯文使用輔助翻譯。它不是完整手冊，也不代表經過相容性實測；使用前請核對原文及其引用檔案。
介紹依據下方列出的固定版本；目前儲存庫動態和目錄擷取時間分開呈現。
- 固定版本來源
- 閱讀原文 ↗
- 原文擷取時間
- 來源提交版本
fabc634a893f62ad5c2039830397efa35fa62715- 原文 SHA-256
42c855bdc6171390abc7413cdb19bd4fd8dddfb31094d519a874427de08ddc2a