C✳CODEZ.WIN
🌐 한국어

현지화된 읽기 가이드

trl-training목적, 사용법 및 출처

TRL(Transformers Reinforcement Learning)을 사용한 학습 후 LLM(Long Leadership Model) 훈련 — SFT, DPO, GRPO, KTO 및 보상 모델 훈련. TRL Python API 또는 trl CLI를 사용하여 훈련 코드를 작성하거나 디버깅할 때 사용하십시오.

출처 검색됨:

소스 저장소
huggingface/skills
SKILL.md
skills/trl-training/SKILL.md
저장소 Star
11,241
저장소 최근 업데이트
2026-10-30
능력 분류
개발
최근 수집 시간

라이선스: Apache-2.0

원본 SKILL.md

워크플로 발췌본은 이해를 돕기 위한 자료이며, Codez에서 제공하는 실행 가능한 명령어가 아닙니다. 이 페이지를 생성하는 데 타사 Skill은 사용되지 않았습니다.

아래의 목적 및 워크플로 관련 내용은 읽기 쉽도록 정리 및 번역된 상위 자료입니다. 이는 별도로 분류된 Codez 편집 분석과는 별개입니다.

이 스킬의 기능

TRL(Transformers Reinforcement Learning)을 사용한 학습 후 LLM(Long Leadership Model) 훈련 — SFT, DPO, GRPO, KTO 및 보상 모델 훈련. TRL Python API 또는 trl CLI를 사용하여 훈련 코드를 작성하거나 디버깅할 때 사용하십시오.

업스트림 워크플로우 작동 방식

티럴

각 방법은 쌍을 이룹니다.*Trainer수업*Config데이터 클래스. 구성은 확장합니다.transformers.TrainingArguments따라서 모든 인수는 모든 트레이너 설정에서 작동합니다. OnlineDPO, ORPO, CPO, GKD 등 더 많은 트레이너가 여기에 있습니다.trl.experimental불안정한 API를 사용하는 경우:https://huggingface.co/docs/trl/experimental_overview

상류 통로 · L10 ↗

데이터셋 형식

이야기 잘하는:{"messages": [{"role": ..., "content": ...}]}(언어 모델링) 또는{"prompt": [...], "completion": [...]}채팅 템플릿은 자동으로 적용되므로 직접 적용하지 마십시오. 추가 열은 허용되며, GRPO에서 해당 열을 보상 기능으로 전달합니다. 참고:https://huggingface.co/docs/trl/dataset_formats

상류 통로 · L39 ↗

GRPO: 온라인 RL

보상 함수는 키워드 인수를 사용하여 호출됩니다.prompts,completions,completion_ids,trainer_state, 그리고 모든 추가 데이터셋 열을 포함하여 — 수락kwargs당신이 무시하는 사람들을 위해. 돌아오세요list[float]완료할 때마다 보상이 하나씩 주어집니다. 대화 데이터를 활용하면,completions메시지 목록의 목록이지 문자열이 아닙니다. 생성 배치는 다음과 같습니다.per_device_train_batch_size × num_processes × steps_per_generation(또는 설정)generation_batch_size직접) 그리고 로 나누어 떨어져야 합니다.num_generations(기본8). 생성이 일반적인 병목 현상입니다. vLLM을 활성화하세요.use_vllm=True:vllm_mode="colocate"훈련용 GPU를 공유합니다(크기는 다음과 같습니다).vllm_gpu_memory_utilization);vllm_mode="server"별도의 것을 사용합니다trl vllm-serve --model .

상류 통로 · L55 ↗
상류 통로 · python ↗
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B",  # model ID or a PreTrainedModel instance
    args=SFTConfig(output_dir="Qwen2.5-0.5B-SFT"),
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

요구 사항 및 설정

이 파일에서 간략한 요구사항 구절이 선택되지 않았습니다. 이는 해당 스킬에 종속성이 없다는 의미는 아닙니다. 저장소 설정 지침 및 참조 파일을 확인하십시오.

제한 사항 및 품질 검사

이 파일에서 별도의 제한 조건 구문이 선택되지 않았습니다. 이는 해당 스킬이 모든 입력 또는 환경에서 안전하다는 것을 의미하지 않습니다. 전체 소스 코드를 검토하고 결과를 직접 확인하십시오.

안전한 시험 사용부터 시작하세요

  1. 지원되는 호스트와 저장소 설치 지침을 확인하세요. 스킬 디렉토리와 해당 디렉토리에서 참조하는 스크립트, 자산 및 문서를 함께 보관하세요.SKILL.md단독으로는 종속성을 생략할 수 있습니다.
  2. 에이전트에 실제 입력값, 원하는 출력값 및 승인 기준을 제공하십시오. 호출 구문 및 사용 가능한 도구는 호스트에 따라 다르므로 이 사이트는 범용 설치 명령을 제공하지 않습니다.
  3. 원본 워크플로를 임시 프로젝트 또는 복사본에서 테스트해 보세요. 파일, 원격 서비스 또는 유료 리소스를 변경하는 작업은 허용하기 전에 검토하십시오.
  4. 출력 결과를 원본 품질 검사 및 자체 요구 사항에 맞춰 검증하십시오. 트리거가 성공적으로 작동했거나 저장소의 별점 수가 높다고 해서 반드시 올바른 결과가 나오는 것은 아닙니다.

기술 형식 및 디렉토리 사양 ↗

원문에서 더 자세한 내용을 읽어보세요.

번역 및 범위

이 독서 안내서는 고정된 상류 지역에서 발췌한 구절들을 소개합니다.SKILL.md본 번역은 보조 번역이며, 완전한 설명서 또는 호환성 테스트를 보장하는 것은 아닙니다. 사용 전에 원본 및 참조 파일을 반드시 읽어 주십시오.

이 소개글은 아래 고정된 버전을 참조하며, 현재 저장소 활동 및 수집 시간은 별도로 표시됩니다.

출처 검색됨
소스 커밋
fabc634a893f62ad5c2039830397efa35fa62715
출처 SHA-256
42c855bdc6171390abc7413cdb19bd4fd8dddfb31094d519a874427de08ddc2a
전체 스킬 카탈로그로 돌아가기