Guia de leitura localizado
trl-trainingFinalidade, utilização e fonte
Pós-treinamento de LLMs com TRL (Transformers Reinforcement Learning) — treinamento de SFT, DPO, GRPO, KTO e modelo de recompensa. Use ao escrever ou depurar código de treinamento com a API Python do TRL ou a CLI do trl.
Fonte recuperada:
- Repositório de origem
- huggingface/skills
- SKILL.md
skills/trl-training/SKILL.md- Estrelas do repositório
- 11,241
- Atualização do repositório
- 2026-10-30
- Classificação de Habilidades
- Desenvolvimento
- Última coleta
Licença: Apache-2.0
Os trechos do fluxo de trabalho são auxiliares de leitura e não instruções executáveis do Codez. Nenhuma Skill de terceiros foi executada para gerar esta página.
Os trechos abaixo, que descrevem o propósito e o fluxo de trabalho, são material original, organizado e traduzido para facilitar a leitura. Eles são distintos da análise editorial da Codez, que possui uma etiqueta separada.
O que esta habilidade faz
Pós-treinamento de LLMs com TRL (Transformers Reinforcement Learning) — treinamento de SFT, DPO, GRPO, KTO e modelo de recompensa. Use ao escrever ou depurar código de treinamento com a API Python do TRL ou a CLI do trl.
Como funciona o fluxo de trabalho upstream
TRL
Cada método emparelha um*Traineraula com um*Configdataclass. As configurações estendemtransformers.TrainingArguments, portanto, todos os seus argumentos funcionam em qualquer configuração de treinador. Muitos outros treinadores (OnlineDPO, ORPO, CPO, GKD, …) estão disponíveis emtrl.experimentalCom APIs instáveis:https://huggingface.co/docs/trl/experimental_overview
Formatos de conjunto de dados
Conversacional:{"messages": [{"role": ..., "content": ...}]}(modelagem de linguagem) ou{"prompt": [...], "completion": [...]}O modelo de chat é aplicado automaticamente — nunca o aplique manualmente. Colunas extras são permitidas; o GRPO as encaminha para as funções de recompensa. Referência:https://huggingface.co/docs/trl/dataset_formats
GRPO: RL online
As funções de recompensa são chamadas com argumentos nomeados.prompts,completions,completion_ids,trainer_state, mais cada coluna extra do conjunto de dados — aceitarkwargsPara aqueles que você ignora. Retorne.list[float], uma recompensa por conclusão. Com dados conversacionais,completionsé uma lista de listas de mensagens, não strings. O lote de geração éper_device_train_batch_size × num_processes × steps_per_generation(ou definir)generation_batch_sizediretamente) e deve ser divisível pornum_generations(padrão8A geração é o gargalo usual — habilite o vLLM comuse_vllm=True:vllm_mode="colocate"compartilha as GPUs de treinamento (tamanho comvllm_gpu_memory_utilization);vllm_mode="server"usa um separadotrl vllm-serve --model .
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B", # model ID or a PreTrainedModel instance
args=SFTConfig(output_dir="Qwen2.5-0.5B-SFT"),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Requisitos e configuração
Nenhuma passagem de requisitos resumida foi selecionada deste arquivo. Isso não significa que a Skill não tenha dependências. Verifique as instruções de configuração do repositório e os arquivos referenciados.
Limites e verificações de qualidade
Nenhuma passagem de limites separada foi selecionada deste arquivo. Isso não significa que a Skill seja segura para todas as entradas ou ambientes. Analise o código-fonte completo e valide seus próprios resultados.
Comece com um teste seguro.
- Verifique o host compatível e as instruções de instalação do repositório. Mantenha o diretório Skill e seus scripts, recursos e documentação referenciados juntos;SKILL.mdsozinho pode omitir dependências.
- Forneça ao agente suas entradas reais, a saída desejada e os critérios de aceitação. A sintaxe de invocação e as ferramentas disponíveis dependem do host; este site não pressupõe um comando de instalação universal.
- Teste o fluxo de trabalho original em um projeto descartável ou em uma cópia. Analise as operações que alteram arquivos, serviços remotos ou recursos faturáveis antes de permiti-las.
- Valide o resultado comparando-o com as verificações de qualidade da fonte e com seus próprios requisitos. Um gatilho bem-sucedido ou uma alta contagem de estrelas no repositório não garantem um resultado correto.
Leia mais na fonte.
Habilidades relacionadas
Tradução e escopo
Este guia de leitura seleciona trechos do texto fixado a montante.SKILL.mdA tradução foi feita com auxílio de ferramentas. Este não é um manual completo nem garante compatibilidade comprovada. Leia o original e os arquivos referenciados antes de usar.
Esta introdução refere-se à versão fixada abaixo; a atividade atual do repositório e o tempo de coleta são mostrados separadamente.
- Fonte fixada
- Leia o original ↗
- Fonte recuperada
- Commit de origem
fabc634a893f62ad5c2039830397efa35fa62715- Fonte SHA-256
42c855bdc6171390abc7413cdb19bd4fd8dddfb31094d519a874427de08ddc2a