स्थानीयकृत पठन मार्गदर्शिका

trl-trainingउद्देश्य, उपयोग और स्रोत

TRL (ट्रांसफॉर्मर्स रीइन्फोर्समेंट लर्निंग) के साथ पोस्ट-ट्रेन LLM — SFT, DPO, GRPO, KTO और रिवार्ड-मॉडल ट्रेनिंग। TRL Python API या trl CLI के साथ ट्रेनिंग कोड लिखते या डीबग करते समय इसका उपयोग करें।

स्रोत प्राप्त किया गया: 2026-10-29

स्रोत रिपॉज़िटरी: huggingface/skills
SKILL.md: skills/trl-training/SKILL.md
रिपॉज़िटरी Star: 11,241
रिपॉज़िटरी का अंतिम अपडेट: 2026-10-30
क्षमता वर्गीकरण: विकास
अंतिम संग्रह समय: 2026-10-31 10:38 UTC+08:00

लाइसेंस: Apache-2.0

मूल SKILL.md

वर्कफ़्लो के अंश केवल पढ़ने में सहायता के लिए हैं, कोडेज़ से निष्पादन योग्य निर्देश नहीं हैं। इस पृष्ठ को बनाने के लिए किसी तृतीय-पक्ष स्किल का उपयोग नहीं किया गया है।

नीचे दिए गए उद्देश्य और कार्यप्रणाली संबंधी अंश प्रारंभिक सामग्री हैं, जिन्हें पढ़ने के लिए व्यवस्थित और अनुवादित किया गया है। ये अलग से लेबल किए गए कोडेज़ संपादकीय विश्लेषण से भिन्न हैं।

यह कौशल क्या करता है

अपस्ट्रीम वर्कफ़्लो कैसे काम करता है

टीआरएल

प्रत्येक विधि एक दूसरे के साथ जोड़ी बनाती है*Trainerकक्षा के साथ*Configdataclass. Configs extendtransformers.TrainingArgumentsइसलिए इसके सभी तर्क किसी भी ट्रेनर कॉन्फ़िगरेशन में काम करते हैं। कई और ट्रेनर (OnlineDPO, ORPO, CPO, GKD, ...) इसमें मौजूद हैं।trl.experimentalअस्थिर एपीआई के साथ:https://huggingface.co/docs/trl/experimental_overview

ऊपर की ओर मार्ग · L10 ↗

डेटासेट प्रारूप

बातचीत के दौरान:{"messages": [{"role": ..., "content": ...}]}(भाषा मॉडलिंग) या{"prompt": [...], "completion": [...]}चैट टेम्पलेट स्वचालित रूप से लागू हो जाता है — इसे स्वयं लागू करने की आवश्यकता नहीं है। अतिरिक्त कॉलम की अनुमति है; GRPO उन्हें रिवॉर्ड फ़ंक्शन में भेज देता है। संदर्भ:https://huggingface.co/docs/trl/dataset_formats

ऊपर की ओर मार्ग · L39 ↗

जीआरपीओ: ऑनलाइन आरएल

रिवार्ड फ़ंक्शन को कीवर्ड आर्ग्यूमेंट के साथ कॉल किया जाता है।prompts,completions,completion_ids,trainer_stateसाथ ही, डेटासेट के प्रत्येक अतिरिक्त कॉलम को स्वीकार करें।kwargsजिनके प्रति आप उपेक्षा व्यक्त करते हैं, उनके लिए। वापसीlist[float]प्रत्येक पूर्णता पर एक पुरस्कार। वार्तालाप डेटा के साथ,completionsयह संदेशों की सूचियों की सूची है, स्ट्रिंग्स की नहीं। जनरेशन बैच हैper_device_train_batch_size × num_processes × steps_per_generation(या सेट)generation_batch_size(प्रत्यक्ष रूप से) और विभाज्य होना चाहिएnum_generations(गलती करना8जनरेशन आमतौर पर अड़चन होती है — vLLM को सक्षम करेंuse_vllm=True:vllm_mode="colocate"प्रशिक्षण जीपीयू (आकार के साथ) साझा करता हैvllm_gpu_memory_utilization);vllm_mode="server"एक अलग का उपयोग करता हैtrl vllm-serve --model .

ऊपर की ओर मार्ग · L55 ↗

ऊपर की ओर मार्ग · python ↗

from datasets import load_dataset
from trl import SFTConfig, SFTTrainer

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B",  # model ID or a PreTrainedModel instance
    args=SFTConfig(output_dir="Qwen2.5-0.5B-SFT"),
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

आवश्यकताएँ और सेटअप

इस फ़ाइल से कोई संक्षिप्त आवश्यकताएँ नहीं चुनी गईं। इसका मतलब यह नहीं है कि स्किल की कोई निर्भरता नहीं है। रिपॉजिटरी सेटअप निर्देशों और संदर्भित फ़ाइलों की जाँच करें।

सीमाएं और गुणवत्ता जांच

इस फ़ाइल से कोई अलग सीमा अंश नहीं चुना गया है। इसका मतलब यह नहीं है कि यह स्किल हर इनपुट या वातावरण के लिए सुरक्षित है। संपूर्ण स्रोत की समीक्षा करें और अपने परिणाम की पुष्टि करें।

सुरक्षित परीक्षण से शुरुआत करें

समर्थित होस्ट और रिपॉजिटरी इंस्टॉलेशन निर्देशों की जाँच करें। स्किल डायरेक्टरी और उससे संबंधित स्क्रिप्ट, एसेट्स और डॉक्यूमेंटेशन को एक साथ रखें;SKILL.mdअकेले होने पर निर्भरताओं को छोड़ा जा सकता है।
एजेंट को अपना वास्तविक इनपुट, अपेक्षित आउटपुट और स्वीकृति मानदंड प्रदान करें। इनवोकेशन सिंटैक्स और उपलब्ध उपकरण होस्ट पर निर्भर करते हैं; यह साइट किसी सार्वभौमिक इंस्टॉलेशन कमांड को नहीं मानती है।
डिस्पोजेबल प्रोजेक्ट या उसकी कॉपी पर मूल वर्कफ़्लो को आज़माएँ। फ़ाइलों, रिमोट सेवाओं या बिल योग्य संसाधनों में परिवर्तन करने वाले कार्यों की अनुमति देने से पहले उनकी समीक्षा करें।
स्रोत गुणवत्ता जांच और अपनी आवश्यकताओं के आधार पर आउटपुट को सत्यापित करें। सफल ट्रिगर या उच्च रिपॉजिटरी स्टार संख्या सही परिणाम की गारंटी नहीं देते।

कौशल प्रारूप और निर्देशिका विनिर्देश ↗

मूल लेख में आगे पढ़ें

अनुवाद और दायरा

यह पठन मार्गदर्शिका ऊपर पिन किए गए अंशों में से चयनित अंशों को प्रस्तुत करती है।SKILL.mdयह अनुवाद सहायता से किया गया है। यह कोई संपूर्ण नियमावली या परीक्षित संगतता का दावा नहीं है। उपयोग करने से पहले मूल दस्तावेज़ और उससे संबंधित फ़ाइलों को पढ़ें।

यह परिचय नीचे पिन किए गए संस्करण को संदर्भित करता है; वर्तमान रिपॉजिटरी गतिविधि और संग्रह समय अलग से दिखाए गए हैं।

पिन किया गया स्रोत: मूल लेख पढ़ें ↗
स्रोत प्राप्त किया गया: 2026-10-29T09:32:23Z
स्रोत कमिट: fabc634a893f62ad5c2039830397efa35fa62715
स्रोत SHA-256: 42c855bdc6171390abc7413cdb19bd4fd8dddfb31094d519a874427de08ddc2a

संपूर्ण कौशल सूची पर वापस जाएँ