Guide de lecture localisé
trl-trainingObjectif, utilisation et source
Post-entraînement des modèles linéaires à longue portée (LLM) avec TRL (Transformers Reinforcement Learning) : SFT, DPO, GRPO, KTO et entraînement par modèle de récompense. À utiliser lors de l’écriture ou du débogage de code d’entraînement avec l’API Python TRL ou l’interface de ligne de commande trl.
Source récupérée:
- Dépôt source
- huggingface/skills
- SKILL.md
skills/trl-training/SKILL.md- Étoiles du dépôt
- 11,241
- Mise à jour du dépôt
- 2026-10-30
- Catégories de capacités
- Développement
- Dernière collecte
Licence : Apache-2.0
Les extraits de flux de travail sont des outils de lecture et non des instructions exécutables de Codez. Aucune compétence tierce n'a été utilisée pour générer cette page.
Les passages relatifs à l'objectif et au flux de travail ci-dessous constituent le contenu original, organisé et traduit pour la lecture. Ils sont distincts de l'analyse éditoriale de Codez, qui est étiquetée séparément.
À quoi sert cette compétence ?
Post-entraînement des modèles linéaires à longue portée (LLM) avec TRL (Transformers Reinforcement Learning) : SFT, DPO, GRPO, KTO et entraînement par modèle de récompense. À utiliser lors de l’écriture ou du débogage de code d’entraînement avec l’API Python TRL ou l’interface de ligne de commande trl.
Comment fonctionne le flux de travail en amont
TRL
Chaque méthode associe un*Trainerclasse avec un*Configdataclass. Configs étendtransformers.TrainingArguments, donc tous ses arguments fonctionnent dans n'importe quelle configuration d'entraîneur. De nombreux autres entraîneurs (OnlineDPO, ORPO, CPO, GKD, …) sont disponibles danstrl.experimentalavec des API instables :https://huggingface.co/docs/trl/experimental_overview
Formats de jeux de données
De la conversation:{"messages": [{"role": ..., "content": ...}]}(modélisation du langage) ou{"prompt": [...], "completion": [...]}Le modèle de conversation est appliqué automatiquement ; vous n’avez pas besoin de le faire manuellement. Des colonnes supplémentaires sont autorisées ; GRPO les transmet aux fonctions de récompense. Référence :https://huggingface.co/docs/trl/dataset_formats
GRPO : RL en ligne
Les fonctions de récompense sont appelées avec des arguments nommésprompts,completions,completion_ids,trainer_state, plus chaque colonne supplémentaire de l'ensemble de données — accepterkwargspour ceux que vous ignorez. Retourlist[float], une récompense par tâche accomplie. Grâce aux données conversationnelles,completionsest une liste de listes de messages, et non des chaînes de caractères. Le lot de génération estper_device_train_batch_size × num_processes × steps_per_generation(ou ensemble)generation_batch_sizedirectement) et doit être divisible parnum_generations(défaut8La génération constitue généralement le goulot d'étranglement ; activez vLLM avecuse_vllm=True:vllm_mode="colocate"partage les GPU d'entraînement (taille avecvllm_gpu_memory_utilization);vllm_mode="server"utilise un système séparétrl vllm-serve --model .
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B", # model ID or a PreTrainedModel instance
args=SFTConfig(output_dir="Qwen2.5-0.5B-SFT"),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Configuration requise
Aucun extrait de configuration n'a été sélectionné dans ce fichier. Cela ne signifie pas que la compétence est sans dépendances. Consultez les instructions de configuration du dépôt et les fichiers référencés.
Limites et contrôles de qualité
Aucun passage de limite distinct n'a été sélectionné dans ce fichier. Cela ne signifie pas que la compétence est sûre pour toutes les entrées ou tous les environnements. Consultez le code source complet et validez vos résultats.
Commencez par un essai sans danger
- Vérifiez l'hôte pris en charge et les instructions d'installation du dépôt. Conservez le répertoire Skill ainsi que ses scripts, ressources et documentation référencés ;SKILL.mdSeul, il peut omettre les dépendances.
- Indiquez à l'agent vos paramètres d'entrée réels, le résultat souhaité et les critères d'acceptation. La syntaxe d'appel et les outils disponibles dépendent du système hôte ; ce site ne propose pas de commande d'installation universelle.
- Testez le flux de travail source dans un projet temporaire ou sur une copie. Avant d'autoriser les opérations qui modifient des fichiers, des services distants ou des ressources facturables, examinez-les attentivement.
- Vérifiez la conformité du résultat avec les contrôles qualité sources et vos propres exigences. Un déclenchement réussi ou un nombre élevé d'étoiles dans le dépôt ne garantissent pas un résultat correct.
Pour en savoir plus, consultez la source.
Compétences connexes
Traduction et étendue
Ce guide de lecture sélectionne des passages de l'amont épingléSKILL.mdCette traduction est assistée. Elle ne constitue pas un manuel complet et ne garantit pas une compatibilité testée. Veuillez lire le document original et les fichiers auxquels il fait référence avant utilisation.
Cette introduction fait référence à la version épinglée ci-dessous ; l’activité actuelle du dépôt et la durée de la collecte sont indiquées séparément.
- Source épinglée
- Lire l'original ↗
- Source récupérée
- Commit source
fabc634a893f62ad5c2039830397efa35fa62715- Source SHA-256
42c855bdc6171390abc7413cdb19bd4fd8dddfb31094d519a874427de08ddc2a