Lokalisierter Leseleitfaden
trl-trainingZweck, Verwendung und Quelle
Nach dem Training von LLMs mit TRL (Transformers Reinforcement Learning) – SFT, DPO, GRPO, KTO und Belohnungsmodelltraining. Verwendung beim Schreiben oder Debuggen von Trainingscode mit der TRL Python API oder der TRL CLI.
Quelle abgerufen:
- Quell-Repository
- huggingface/skills
- SKILL.md
skills/trl-training/SKILL.md- Repository-Sterne
- 11,241
- Repository zuletzt aktualisiert
- 2026-10-30
- Fähigkeitskategorien
- Entwicklung
- Letzte Datenerfassung
Lizenz: Apache-2.0
Die Workflow-Auszüge dienen als Lesehilfe und sind keine ausführbaren Anweisungen von Codez. Für die Erstellung dieser Seite wurde keine Drittanbieter-Skill verwendet.
Die folgenden Abschnitte zu Zweck und Arbeitsablauf sind vorgelagertes Material, das zur besseren Lesbarkeit aufbereitet und übersetzt wurde. Sie unterscheiden sich von der separat gekennzeichneten redaktionellen Analyse von Codez.
Was diese Fähigkeit bewirkt
Nach dem Training von LLMs mit TRL (Transformers Reinforcement Learning) – SFT, DPO, GRPO, KTO und Belohnungsmodelltraining. Verwendung beim Schreiben oder Debuggen von Trainingscode mit der TRL Python API oder der TRL CLI.
Wie der vorgelagerte Workflow funktioniert
TRL
Jede Methode paart eine*TrainerKlasse mit einem*Configdataclass. Configs erweiterntransformers.TrainingArgumentsDaher funktionieren alle seine Argumente in jeder Trainerkonfiguration. Viele weitere Trainer (OnlineDPO, ORPO, CPO, GKD, …) befinden sich intrl.experimentalmit instabilen APIs:https://huggingface.co/docs/trl/experimental_overview
Datensatzformate
Konversationell:{"messages": [{"role": ..., "content": ...}]}(Sprachmodellierung) oder{"prompt": [...], "completion": [...]}Die Chatvorlage wird automatisch angewendet – wenden Sie sie niemals manuell an. Zusätzliche Spalten sind zulässig; GRPO leitet diese an die entsprechenden Belohnungsfunktionen weiter. Referenz:https://huggingface.co/docs/trl/dataset_formats
GRPO: Online-RL
Belohnungsfunktionen werden mit Schlüsselwortargumenten aufgerufen.prompts,completions,completion_ids,trainer_state, plus jede zusätzliche Spalte des Datensatzes – akzeptierenkwargsfür diejenigen, die du ignorierst. Zurücklist[float]Eine Belohnung pro Abschluss. Mit Gesprächsdaten,completionsEs handelt sich um eine Liste von Nachrichtenlisten, nicht um Zeichenketten. Der Generierungsstapel istper_device_train_batch_size × num_processes × steps_per_generation(oder Setgeneration_batch_sizedirekt) und muss teilbar sein durchnum_generations(Standard8Die Generationserstellung ist üblicherweise der Flaschenhals – aktivieren Sie vLLM mituse_vllm=True:vllm_mode="colocate"teilt die Trainings-GPUs (Größe mitvllm_gpu_memory_utilization);vllm_mode="server"verwendet ein separatestrl vllm-serve --model Die
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B", # model ID or a PreTrainedModel instance
args=SFTConfig(output_dir="Qwen2.5-0.5B-SFT"),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Anforderungen und Einrichtung
Aus dieser Datei wurde kein Abschnitt mit kurzen Anforderungen ausgewählt. Dies bedeutet nicht, dass die Fertigkeit keine Abhängigkeiten hat. Überprüfen Sie die Anweisungen zur Repository-Einrichtung und die referenzierten Dateien.
Grenzwerte und Qualitätskontrollen
Aus dieser Datei wurde kein separater Grenzwertabschnitt ausgewählt. Dies bedeutet nicht, dass die Anwendung für jede Eingabe oder Umgebung geeignet ist. Überprüfen Sie den vollständigen Quellcode und validieren Sie Ihr Ergebnis selbst.
Beginnen Sie mit einem sicheren Testlauf
- Prüfen Sie den unterstützten Host und die Installationsanweisungen für das Repository. Halten Sie das Skill-Verzeichnis und die darin enthaltenen Skripte, Assets und Dokumentationen zusammen;SKILL.mdEine Einzelperson kann Abhängigkeiten außer Acht lassen.
- Geben Sie dem Agenten Ihre tatsächlichen Eingaben, die gewünschten Ausgaben und die Akzeptanzkriterien an. Aufrufsyntax und verfügbare Tools hängen vom Hostsystem ab; diese Website geht nicht von einem universellen Installationsbefehl aus.
- Testen Sie den Quellworkflow in einem temporären Projekt oder auf einer Kopie. Überprüfen Sie Vorgänge, die Dateien, Remote-Dienste oder abrechnungsfähige Ressourcen ändern, bevor Sie diese zulassen.
- Überprüfen Sie die Ausgabe anhand der Quellqualitätsprüfungen und Ihrer eigenen Anforderungen. Ein erfolgreicher Trigger oder eine hohe Anzahl von Sternen im Repository garantiert kein korrektes Ergebnis.
Lesen Sie mehr dazu in der Quelle.
Verwandte Fähigkeiten
Übersetzung und Umfang
Dieser Leseleitfaden wählt Passagen aus dem markierten stromaufwärts gelegenen Abschnitt aus.SKILL.mdDie Übersetzung wurde unterstützt. Es handelt sich weder um ein vollständiges Handbuch noch um eine Garantie für geprüfte Kompatibilität. Lesen Sie vor der Verwendung das Original und die darin referenzierten Dateien.
Diese Einleitung bezieht sich auf die unten angepinnte Version; die aktuelle Repository-Aktivität und der Erfassungszeitpunkt werden separat angezeigt.
- Angeheftete Quelle
- Lesen Sie das Original ↗
- Quelle abgerufen
- Source-Commit
fabc634a893f62ad5c2039830397efa35fa62715- Quelle SHA-256
42c855bdc6171390abc7413cdb19bd4fd8dddfb31094d519a874427de08ddc2a