Локализованное руководство по чтению
trl-trainingНазначение, использование и источник
Постобучайте LLM-модели с помощью TRL (Transformers Reinforcement Learning) — SFT, DPO, GRPO, KTO и обучения на основе моделей с вознаграждением. Используйте при написании или отладке кода обучения с помощью API TRL на Python или CLI trl.
Источник получен:
- Репозиторий-источник
- huggingface/skills
- SKILL.md
skills/trl-training/SKILL.md- Звёзды репозитория
- 11,241
- Последнее обновление репозитория
- 2026-10-30
- Категории Skills
- Разработка
- Время последнего сбора
Лицензия: Apache-2.0
Приведенные фрагменты описания рабочих процессов являются вспомогательными средствами для чтения, а не исполняемыми инструкциями от Codez. Для создания этой страницы не использовались сторонние инструменты.
Приведённые ниже фрагменты, описывающие цели и рабочие процессы, представляют собой исходный материал, систематизированный и переведённый для удобства чтения. Они отличаются от отдельно обозначенного редакционного анализа Codez.
Что делает этот навык
Постобучайте LLM-модели с помощью TRL (Transformers Reinforcement Learning) — SFT, DPO, GRPO, KTO и обучения на основе моделей с вознаграждением. Используйте при написании или отладке кода обучения с помощью API TRL на Python или CLI trl.
Как работает рабочий процесс на вышестоящем уровне
ТРЛ
Каждый метод представляет собой пару*Trainerкласс с*Configкласс данных. Конфигурации расширяютtransformers.TrainingArgumentsТаким образом, все его аргументы работают в любой конфигурации тренера. Многие другие тренеры (OnlineDPO, ORPO, CPO, GKD и др.) находятся в...trl.experimentalс нестабильными API:https://huggingface.co/docs/trl/experimental_overview
Форматы наборов данных
Разговорный:{"messages": [{"role": ..., "content": ...}]}(языковое моделирование) или{"prompt": [...], "completion": [...]}Шаблон чата применяется автоматически — вам никогда не придется применять его самостоятельно. Допускаются дополнительные столбцы; GRPO пересылает их в функции поощрения. Ссылка:https://huggingface.co/docs/trl/dataset_formats
GRPO: онлайн-RL
Функции вознаграждения вызываются с именованными аргументами.prompts,completions,completion_ids,trainer_stateплюс каждый дополнительный столбец набора данных — принятьkwargsдля тех, кого вы игнорируете. Вернутьсяlist[float]Одна награда за каждое завершение. С использованием данных из диалогов,completionsЭто список списков сообщений, а не строк. Пакет генерации — этоper_device_train_batch_size × num_processes × steps_per_generation(или набор)generation_batch_sizeнапрямую) и должен делиться наnum_generations(по умолчанию8Обычно узким местом является процесс генерации — включите vLLM с помощьюuse_vllm=True:vllm_mode="colocate"разделяет обучающие графические процессоры (размер сvllm_gpu_memory_utilization);vllm_mode="server"использует отдельныйtrl vllm-serve --model .
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B", # model ID or a PreTrainedModel instance
args=SFTConfig(output_dir="Qwen2.5-0.5B-SFT"),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Требования и настройка
Из этого файла не был выбран фрагмент с краткими требованиями. Это не означает, что у навыка нет зависимостей. Проверьте инструкции по настройке репозитория и указанные файлы.
Ограничения и проверки качества
Из этого файла не был выбран отдельный фрагмент с ограничениями. Это не означает, что навык безопасен для любых входных данных или сред. Проверьте полный исходный код и подтвердите свой собственный результат.
Начните с безопасного пробного периода.
- Проверьте поддерживаемый хост и инструкции по установке репозитория. Храните каталог Skill, а также связанные с ним скрипты, ресурсы и документацию вместе;SKILL.mdВ одиночку можно опустить зависимости.
- Предоставьте агенту ваши реальные входные данные, желаемый результат и критерии приемки. Синтаксис вызова и доступные инструменты зависят от хоста; данный сайт не предполагает универсальной команды установки.
- Попробуйте запустить исходный рабочий процесс в тестовом проекте или в его копии. Перед тем как разрешить операции, изменяющие файлы, удаленные сервисы или оплачиваемые ресурсы, проверьте их.
- Проверьте выходные данные на соответствие исходным проверкам качества и вашим собственным требованиям. Успешный запуск или большое количество звезд в репозитории не гарантируют корректного результата.
Подробнее читайте в источнике.
Смежные навыки
Перевод и сфера применения
В этом руководстве по чтению представлены избранные отрывки из закрепленного текста выше по течению.SKILL.mdПеревод выполнен с помощью переводчика. Это не полное руководство и не гарантия проверенной совместимости. Перед использованием ознакомьтесь с оригиналом и указанными в нем файлами.
Данное введение относится к закрепленной ниже версии; текущая активность в репозитории и время сбора данных отображаются отдельно.
- Закрепленный источник
- Прочитайте оригинал ↗
- Источник получен
- Исходный коммит
fabc634a893f62ad5c2039830397efa35fa62715- Исходный SHA-256
42c855bdc6171390abc7413cdb19bd4fd8dddfb31094d519a874427de08ddc2a