ローカライズされた読書ガイド
trl-training目的、用途、および情報源
TRL（Transformers Reinforcement Learning）によるLLMの事後学習 — SFT、DPO、GRPO、KTO、および報酬モデルの学習。TRL Python APIまたはtrl CLIを使用して学習コードを記述またはデバッグする際に使用します。
ソースを取得しました:
- 出典リポジトリ
- huggingface/skills
- SKILL.md
skills/trl-training/SKILL.md- リポジトリの Star
- 11,241
- リポジトリの最終更新
- 2026-10-30
- 能力分類
- 開発
- 最終収集時刻
ライセンス: Apache-2.0
ワークフローの抜粋は、Codezによる実行可能な指示ではなく、あくまでも参考資料です。このページを作成するために、サードパーティ製のスキルは実行されていません。
以下の目的とワークフローに関する記述は、上流工程に関する資料であり、読みやすいように整理・翻訳されています。これらは、別途ラベル付けされたCodez編集分析とは区別されます。
このスキルが何をするか
TRL（Transformers Reinforcement Learning）によるLLMの事後学習 — SFT、DPO、GRPO、KTO、および報酬モデルの学習。TRL Python APIまたはtrl CLIを使用して学習コードを記述またはデバッグする際に使用します。
上流ワークフローの仕組み
TRL
各メソッドは*Trainerクラス*Configデータクラス。設定は拡張しますtransformers.TrainingArgumentsなので、その引数はすべてどのトレーナー構成でも機能します。さらに多くのトレーナー（OnlineDPO、ORPO、CPO、GKDなど）が にあります。trl.experimental不安定なAPIを使用する場合：https://huggingface.co/docs/trl/experimental_overview
データセットの形式
会話形式:{"messages": [{"role": ..., "content": ...}]}（言語モデリング）または{"prompt": [...], "completion": [...]}チャットテンプレートは自動的に適用されます。手動で適用しないでください。追加の列も許可されています。GRPOはそれらを報酬機能に転送します。参照:https://huggingface.co/docs/trl/dataset_formats
GRPO: オンラインRL
報酬関数はキーワード引数とともに呼び出されますprompts、completions、completion_ids、trainer_state、さらにデータセットのすべての追加列を受け入れるkwargsあなたが無視するものについては、返してください。list[float]完了ごとに1つの報酬。会話データを使用すると、completionsこれは文字列ではなく、メッセージリストのリストです。生成バッチはper_device_train_batch_size × num_processes × steps_per_generation（または設定）generation_batch_size直接）で割り切れる必要があるnum_generations（デフォルト8) 生成が通常のボトルネックです。vLLM を有効にしてuse_vllm=True:vllm_mode="colocate"トレーニング用GPUを共有します（サイズはvllm_gpu_memory_utilization);vllm_mode="server"別々に使用trl vllm-serve --model 。
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B", # model ID or a PreTrainedModel instance
args=SFTConfig(output_dir="Qwen2.5-0.5B-SFT"),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()要件とセットアップ
このファイルから要件定義の短い記述が選択されませんでした。これは、スキルに依存関係がないという意味ではありません。リポジトリの設定手順と参照ファイルを確認してください。
制限事項と品質チェック
このファイルからは、個別の制限に関する記述は選択されていません。これは、このスキルがあらゆる入力や環境において安全であることを意味するものではありません。ソースコード全体を確認し、ご自身で結果を検証してください。
まずは安全なトライアルから始めましょう
- サポートされているホストとリポジトリのインストール手順を確認してください。スキルディレクトリと、それに関連付けられているスクリプト、アセット、ドキュメントはまとめて保管してください。SKILL.md単独では依存関係を省略できる場合があります。
- エージェントに実際の入力、希望する出力、および受け入れ基準を指定してください。呼び出し構文と利用可能なツールはホストによって異なります。このサイトは、汎用的なインストールコマンドを前提としていません。
- 使い捨てプロジェクトまたはコピーで、元のワークフローを試してみてください。ファイル、リモートサービス、または課金対象リソースを変更する操作は、許可する前に必ず確認してください。
- 出力結果をソースの品質チェックおよび独自の要件と照らし合わせて検証してください。トリガーが成功したことやリポジトリのスター数が多いことだけでは、正しい結果とは言えません。
詳細は出典元をご覧ください。
関連スキル
翻訳と範囲
この読書ガイドは、ピン留めされた上流からの抜粋を選りすぐっていますSKILL.md翻訳は補助的なものです。完全なマニュアルではなく、互換性テスト済みであることを保証するものでもありません。ご使用前に原文および参照ファイルをお読みください。
この紹介文は、下記に固定表示されているバージョンに関するものです。現在のリポジトリのアクティビティと収集時間は別途表示されます。
- ピン留めされたソース
- 原文を読む ↗
- ソースを取得しました
- ソースコミット
fabc634a893f62ad5c2039830397efa35fa62715- ソースSHA-256
42c855bdc6171390abc7413cdb19bd4fd8dddfb31094d519a874427de08ddc2a