Panduan membaca yang dilokalisasi
trl-trainingTujuan, penggunaan, dan sumber
Melatih model LLM pasca-pelatihan dengan TRL (Transformers Reinforcement Learning) — SFT, DPO, GRPO, KTO, dan pelatihan model berbasis reward. Gunakan saat menulis atau men-debug kode pelatihan dengan API Python TRL atau CLI trl.
Sumber diambil:
- Repositori sumber
- huggingface/skills
- SKILL.md
skills/trl-training/SKILL.md- Bintang Repositori
- 11,241
- Pembaruan terakhir repositori
- 2026-10-30
- Klasifikasi Kemampuan
- Pengembangan
- Waktu pengumpulan terbaru
Lisensi: Apache-2.0
Cuplikan alur kerja adalah alat bantu baca, bukan instruksi yang dapat dieksekusi dari Codez. Tidak ada Skill pihak ketiga yang dijalankan untuk menghasilkan halaman ini.
Bagian yang menjelaskan tujuan dan alur kerja di bawah ini merupakan materi dari hulu, yang telah diorganisir dan diterjemahkan untuk dibaca. Bagian ini berbeda dari analisis editorial Codez yang diberi label secara terpisah.
Apa yang dilakukan oleh Skill ini?
Melatih model LLM pasca-pelatihan dengan TRL (Transformers Reinforcement Learning) — SFT, DPO, GRPO, KTO, dan pelatihan model berbasis reward. Gunakan saat menulis atau men-debug kode pelatihan dengan API Python TRL atau CLI trl.
Bagaimana alur kerja hulu bekerja
TRL
Setiap metode memasangkan*Trainerkelas dengan*Configkelas data. Konfigurasi memperluastransformers.TrainingArguments, sehingga semua argumennya berfungsi di konfigurasi trainer apa pun. Masih banyak trainer lainnya (OnlineDPO, ORPO, CPO, GKD, …) yang ada ditrl.experimentaldengan API yang tidak stabil:https://huggingface.co/docs/trl/experimental_overview
Format dataset
Percakapan:{"messages": [{"role": ..., "content": ...}]}(pemodelan bahasa) atau{"prompt": [...], "completion": [...]}Templat obrolan diterapkan secara otomatis — jangan pernah menerapkannya sendiri. Kolom tambahan diperbolehkan; GRPO meneruskannya ke fungsi penghargaan. Referensi:https://huggingface.co/docs/trl/dataset_formats
GRPO: RL daring
Fungsi reward dipanggil dengan argumen kata kunci.prompts,completions,completion_ids,trainer_state, ditambah setiap kolom dataset tambahan — terimakwargsuntuk mereka yang kau abaikan. Kembalilist[float], satu hadiah per penyelesaian. Dengan data percakapan,completionsadalah daftar berisi daftar pesan, bukan string. Batch pembuatannya adalahper_device_train_batch_size × num_processes × steps_per_generation(atau set)generation_batch_sizesecara langsung) dan harus habis dibagi olehnum_generations(bawaan8). Generasi biasanya menjadi hambatan — aktifkan vLLM denganuse_vllm=True:vllm_mode="colocate"berbagi GPU pelatihan (ukurannya denganvllm_gpu_memory_utilization);vllm_mode="server"menggunakan terpisahtrl vllm-serve --model .
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B", # model ID or a PreTrainedModel instance
args=SFTConfig(output_dir="Qwen2.5-0.5B-SFT"),
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Persyaratan dan pengaturan
Tidak ada bagian persyaratan singkat yang dipilih dari file ini. Ini tidak berarti Skill tersebut tidak memiliki dependensi. Periksa petunjuk pengaturan repositori dan file yang dirujuk.
Batasan dan pemeriksaan kualitas
Tidak ada bagian batasan terpisah yang dipilih dari file ini. Ini tidak berarti Keterampilan ini aman untuk setiap input atau lingkungan. Tinjau sumber lengkapnya dan validasi hasil Anda sendiri.
Mulailah dengan uji coba yang aman.
- Periksa host yang didukung dan petunjuk instalasi repositori. Simpan direktori Skill beserta skrip, aset, dan dokumentasi yang dirujuk di dalamnya secara bersamaan;SKILL.mdsendirian dapat menghilangkan dependensi.
- Berikan input sebenarnya, output yang diinginkan, dan kriteria penerimaan kepada agen. Sintaks pemanggilan dan alat yang tersedia bergantung pada host; situs ini tidak mengasumsikan perintah instalasi universal.
- Cobalah alur kerja sumber dalam proyek sementara atau pada salinannya. Tinjau operasi yang mengubah file, layanan jarak jauh, atau sumber daya yang dapat ditagih sebelum mengizinkannya.
- Validasi output terhadap pemeriksaan kualitas sumber dan persyaratan Anda sendiri. Pemicu yang berhasil atau jumlah bintang repositori yang tinggi tidak menjamin hasil yang benar.
Baca selengkapnya di sumber aslinya.
Keterampilan Terkait
Terjemahan dan ruang lingkup
Panduan membaca ini memilih bagian-bagian dari teks yang telah disematkan di bagian atas.SKILL.mdTerjemahan ini dibantu. Ini bukan manual lengkap atau klaim kompatibilitas yang telah diuji. Bacalah dokumen asli dan file referensinya sebelum digunakan.
Pendahuluan ini mengacu pada versi yang disematkan di bawah ini; aktivitas repositori saat ini dan waktu pengumpulan ditampilkan secara terpisah.
- Sumber yang disematkan
- Baca teks aslinya ↗
- Sumber diambil
- Komit sumber
fabc634a893f62ad5c2039830397efa35fa62715- Sumber SHA-256
42c855bdc6171390abc7413cdb19bd4fd8dddfb31094d519a874427de08ddc2a