Guía de lectura localizada
trl-trainingFinalidad, uso y origen
Entrenamiento posterior de modelos LLM con TRL (Transformers Reinforcement Learning): SFT, DPO, GRPO, KTO y entrenamiento de modelos de recompensa. Úselo al escribir o depurar código de entrenamiento con la API de Python de TRL o la interfaz de línea de comandos de trl.
Fuente recuperada:
- Repositorio de origen
- huggingface/skills
- SKILL.md
skills/trl-training/SKILL.md- Estrellas del repositorio
- 11,241
- Actualización del repositorio
- 2026-10-30
- Clasificación de habilidades
- Desarrollo
- Última recopilación
Licencia: Apache-2.0
Los extractos del flujo de trabajo son guías de lectura, no instrucciones ejecutables de Codez. No se utilizó ninguna habilidad de terceros para generar esta página.
Los siguientes fragmentos sobre el propósito y el flujo de trabajo son material preliminar, organizado y traducido para su lectura. Son distintos del análisis editorial de Codez, que se presenta por separado.
Lo que hace esta habilidad
Entrenamiento posterior de modelos LLM con TRL (Transformers Reinforcement Learning): SFT, DPO, GRPO, KTO y entrenamiento de modelos de recompensa. Úselo al escribir o depurar código de entrenamiento con la API de Python de TRL o la interfaz de línea de comandos de trl.
Cómo funciona el flujo de trabajo ascendente
TRL
Cada método empareja un*Trainerclase con un*Configclase de datos. Las configuraciones extiendentransformers.TrainingArguments, por lo que todos sus argumentos funcionan en cualquier configuración de entrenador. Muchos más entrenadores (OnlineDPO, ORPO, CPO, GKD, …) viven entrl.experimentalcon API inestables:https://huggingface.co/docs/trl/experimental_overview
Formatos de conjuntos de datos
Conversacional:{"messages": [{"role": ..., "content": ...}]}(modelado del lenguaje) o{"prompt": [...], "completion": [...]}La plantilla de chat se aplica automáticamente; nunca la aplique usted mismo. Se permiten columnas adicionales; GRPO las envía a las funciones de recompensa. Referencia:https://huggingface.co/docs/trl/dataset_formats
GRPO: RL en línea
Las funciones de recompensa se llaman con argumentos de palabra clave.prompts,completions,completion_ids,trainer_state, más cada columna adicional del conjunto de datos — aceptarkwargspara aquellos que ignoras. Regresarlist[float], una recompensa por cada finalización. Con datos conversacionales,completionses una lista de listas de mensajes, no cadenas. El lote de generación esper_device_train_batch_size × num_processes × steps_per_generation(o conjunto)generation_batch_sizedirectamente) y debe ser divisible pornum_generations(por defecto8). La generación es el cuello de botella habitual: habilite vLLM conuse_vllm=True:vllm_mode="colocate"comparte las GPU de entrenamiento (tamaño convllm_gpu_memory_utilization);vllm_mode="server"utiliza uno separadotrl vllm-serve --model .
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B", # model ID or a PreTrainedModel instance
args=SFTConfig(output_dir="Qwen2.5-0.5B-SFT"),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Requisitos y configuración
No se seleccionó ningún fragmento de requisitos breves de este archivo. Esto no significa que la habilidad no tenga dependencias. Consulte las instrucciones de configuración del repositorio y los archivos de referencia.
Límites y controles de calidad
No se seleccionó ningún pasaje con límites específicos en este archivo. Esto no significa que la habilidad sea segura para cualquier entrada o entorno. Revise el código fuente completo y valide su propio resultado.
Comience con una prueba segura.
- Verifique el host compatible y las instrucciones de instalación del repositorio. Mantenga juntos el directorio Skill y sus scripts, recursos y documentación a los que hace referencia;SKILL.mdsolo puede omitir dependencias.
- Proporcione al agente sus datos reales, el resultado deseado y los criterios de aceptación. La sintaxis de invocación y las herramientas disponibles dependen del sistema anfitrión; este sitio no presupone un comando de instalación universal.
- Pruebe el flujo de trabajo original en un proyecto desechable o en una copia. Revise las operaciones que modifican archivos, servicios remotos o recursos facturables antes de autorizarlas.
- Valide el resultado comparándolo con los controles de calidad de origen y sus propios requisitos. Un activador exitoso o un alto número de estrellas en el repositorio no garantizan un resultado correcto.
Lea más en la fuente
Habilidades relacionadas
Traducción y alcance
Esta guía de lectura selecciona pasajes de la sección fijada en la parte superior.SKILL.mdLa traducción es asistida. No se trata de un manual completo ni garantiza la compatibilidad. Lea el original y los archivos a los que hace referencia antes de usarlo.
Esta introducción hace referencia a la versión fijada a continuación; la actividad actual del repositorio y la hora de recopilación se muestran por separado.
- Fuente fijada
- Lee el original ↗
- Fuente recuperada
- Confirmación de origen
fabc634a893f62ad5c2039830397efa35fa62715- Fuente SHA-256
42c855bdc6171390abc7413cdb19bd4fd8dddfb31094d519a874427de08ddc2a