स्थानीयकृत पठन मार्गदर्शिका
huggingface-llm-trainerउद्देश्य, उपयोग और स्रोत
TRL (ट्रांसफॉर्मर रीइन्फोर्समेंट लर्निंग) या अनस्लोथ के साथ हगिंग फेस जॉब्स इंफ्रास्ट्रक्चर का उपयोग करके भाषा और विज़न मॉडल को प्रशिक्षित या बेहतर बनाएं। इसमें SFT, DPO, GRPO और रिवार्ड मॉडलिंग प्रशिक्षण विधियों के साथ-साथ स्थानीय परिनियोजन के लिए GGUF रूपांतरण शामिल है। इसमें TRL जॉब्स पैकेज, PEP के साथ UV स्क्रिप्ट पर मार्गदर्शन भी शामिल है।723फॉर्मेट, डेटासेट की तैयारी और सत्यापन, हार्डवेयर का चयन, लागत अनुमान, ट्रैकियो मॉनिटरिंग, हब प्रमाणीकरण, मॉडलselection/leaderboardsऔर मॉडल परसिस्टेंस। इसका उपयोग क्लाउड जीपीयू ट्रेनिंग, जीजीयूएफ रूपांतरण, या जब उपयोगकर्ता स्थानीय जीपीयू सेटअप के बिना हगिंग फेस जॉब्स पर ट्रेनिंग का उल्लेख करते हैं, तब करें।
स्रोत प्राप्त किया गया:
- स्रोत रिपॉज़िटरी
- huggingface/skills
- SKILL.md
skills/huggingface-llm-trainer/SKILL.md- रिपॉज़िटरी Star
- 11,241
- रिपॉज़िटरी का अंतिम अपडेट
- 2026-10-30
- क्षमता वर्गीकरण
- डेटा
- अंतिम संग्रह समय
लाइसेंस: Apache-2.0
वर्कफ़्लो के अंश केवल पढ़ने में सहायता के लिए हैं, कोडेज़ से निष्पादन योग्य निर्देश नहीं हैं। इस पृष्ठ को बनाने के लिए किसी तृतीय-पक्ष स्किल का उपयोग नहीं किया गया है।
नीचे दिए गए उद्देश्य और कार्यप्रणाली संबंधी अंश प्रारंभिक सामग्री हैं, जिन्हें पढ़ने के लिए व्यवस्थित और अनुवादित किया गया है। ये अलग से लेबल किए गए कोडेज़ संपादकीय विश्लेषण से भिन्न हैं।
यह कौशल क्या करता है
TRL (ट्रांसफॉर्मर रीइन्फोर्समेंट लर्निंग) या अनस्लोथ के साथ हगिंग फेस जॉब्स इंफ्रास्ट्रक्चर का उपयोग करके भाषा और विज़न मॉडल को प्रशिक्षित या बेहतर बनाएं। इसमें SFT, DPO, GRPO और रिवार्ड मॉडलिंग प्रशिक्षण विधियों के साथ-साथ स्थानीय परिनियोजन के लिए GGUF रूपांतरण शामिल है। इसमें TRL जॉब्स पैकेज, PEP के साथ UV स्क्रिप्ट पर मार्गदर्शन भी शामिल है।723फॉर्मेट, डेटासेट की तैयारी और सत्यापन, हार्डवेयर का चयन, लागत अनुमान, ट्रैकियो मॉनिटरिंग, हब प्रमाणीकरण, मॉडलselection/leaderboardsऔर मॉडल परसिस्टेंस। इसका उपयोग क्लाउड जीपीयू ट्रेनिंग, जीजीयूएफ रूपांतरण, या जब उपयोगकर्ता स्थानीय जीपीयू सेटअप के बिना हगिंग फेस जॉब्स पर ट्रेनिंग का उल्लेख करते हैं, तब करें।
अपस्ट्रीम वर्कफ़्लो कैसे काम करता है
त्वरित शुरुआत: तीन दृष्टिकोण
💡 डेमो के लिए सुझाव: छोटे जीपीयू (t) पर त्वरित डेमो के लिए4-छोटा), छोड़ देंeval_datasetऔरeval_strategyबचाने के लिए ~40% मेमोरी। आपको अभी भी प्रशिक्षण हानि और सीखने की प्रगति दिखाई देगी।
अवलोकन
पूरी तरह से प्रबंधित हगिंग फेस इंफ्रास्ट्रक्चर पर टीआरएल (ट्रांसफॉर्मर रीइन्फोर्समेंट लर्निंग) का उपयोग करके भाषा मॉडल को प्रशिक्षित करें। स्थानीय जीपीयू सेटअप की आवश्यकता नहीं है—मॉडल क्लाउड जीपीयू पर प्रशिक्षित होते हैं और परिणाम स्वचालित रूप से हगिंग फेस हब में सहेजे जाते हैं। टीआरएल कई प्रशिक्षण विधियाँ प्रदान करता है: एसएफटी (सुपरवाइज्ड फाइन-ट्यूनिंग) - मानक निर्देश ट्यूनिंग, डीपीओ (डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन) - वरीयता डेटा से संरेखण।
ऊपर की ओर मार्ग · L9 ↗hf_doc_search("your query", product="trl")
hf_doc_fetch("https://huggingface.co/docs/trl/sft_trainer") # SFT
hf_doc_fetch("https://huggingface.co/docs/trl/dpo_trainer") # DPO
# etc.आवश्यकताएँ और सेटअप
पूर्वापेक्षाओं की सूची
किसी भी प्रशिक्षण कार्य को शुरू करने से पहले, निम्नलिखित बातों की पुष्टि कर लें:
ऊपर की ओर मार्ग · L69 ↗✅ डेटासेट आवश्यकताएँ
डेटासेट हब पर मौजूद होना चाहिए या उसे लोड करने योग्य होना चाहिए।datasets.load_dataset()प्रारूप प्रशिक्षण विधि से मेल खाना चाहिए (SFT: "संदेश"/text/prompt-completionडीपीओ:chosen/rejected; जीआरपीओ: केवल प्रॉम्प्ट)
सीमाएं और गुणवत्ता जांच
इस फ़ाइल से कोई अलग सीमा अंश नहीं चुना गया है। इसका मतलब यह नहीं है कि यह स्किल हर इनपुट या वातावरण के लिए सुरक्षित है। संपूर्ण स्रोत की समीक्षा करें और अपने परिणाम की पुष्टि करें।
सुरक्षित परीक्षण से शुरुआत करें
- समर्थित होस्ट और रिपॉजिटरी इंस्टॉलेशन निर्देशों की जाँच करें। स्किल डायरेक्टरी और उससे संबंधित स्क्रिप्ट, एसेट्स और डॉक्यूमेंटेशन को एक साथ रखें;SKILL.mdअकेले होने पर निर्भरताओं को छोड़ा जा सकता है।
- एजेंट को अपना वास्तविक इनपुट, अपेक्षित आउटपुट और स्वीकृति मानदंड प्रदान करें। इनवोकेशन सिंटैक्स और उपलब्ध उपकरण होस्ट पर निर्भर करते हैं; यह साइट किसी सार्वभौमिक इंस्टॉलेशन कमांड को नहीं मानती है।
- डिस्पोजेबल प्रोजेक्ट या उसकी कॉपी पर मूल वर्कफ़्लो को आज़माएँ। फ़ाइलों, रिमोट सेवाओं या बिल योग्य संसाधनों में परिवर्तन करने वाले कार्यों की अनुमति देने से पहले उनकी समीक्षा करें।
- स्रोत गुणवत्ता जांच और अपनी आवश्यकताओं के आधार पर आउटपुट को सत्यापित करें। सफल ट्रिगर या उच्च रिपॉजिटरी स्टार संख्या सही परिणाम की गारंटी नहीं देते।
मूल लेख में आगे पढ़ें
- अवलोकन
- इस कौशल का उपयोग कब करें
- अनस्लोथ का उपयोग कब करें
- मुख्य निर्देश
- स्थानीय स्क्रिप्ट निष्पादन
- पूर्वापेक्षाओं की सूची
- ✅ खाता और प्रमाणीकरण
- ✅ डेटासेट आवश्यकताएँ
- ⚠️ महत्वपूर्ण सेटिंग्स
- अतुल्यकालिक नौकरी दिशानिर्देश
- कार्रवाई आवश्यक है
- जमीन के नियम
- सबमिशन के बाद
- त्वरित शुरुआत: तीन दृष्टिकोण
- अनुक्रम लंबाई विन्यास
- दृष्टिकोण1: यूवी स्क्रिप्ट (अनुशंसित—डिफ़ॉल्ट विकल्प)
- स्क्रिप्ट के साथ काम करना
- दृष्टिकोण2टीआरएल द्वारा अनुरक्षित स्क्रिप्ट (आधिकारिक उदाहरण)
- हब पर और अधिक यूवी स्क्रिप्ट ढूँढना
- दृष्टिकोण3: एचएफ जॉब्स सीएलआई (डायरेक्ट टर्मिनल कमांड)
- दृष्टिकोण4टीआरएल जॉब्स पैकेज (सरलीकृत प्रशिक्षण)
- हार्डवेयर चयन
- महत्वपूर्ण: परिणामों को हब में सहेजा जा रहा है
- आवश्यक कॉन्फ़िगरेशन
- सत्यापन चेकलिस्ट
- टाइमआउट प्रबंधन
- समय सीमा दिशानिर्देश
- एक आधार मॉडल चुनें (मॉडल चयन)
- लागत अनुमान
- उदाहरण प्रशिक्षण स्क्रिप्ट
सम्बंधित योग्यता
अनुवाद और दायरा
यह पठन मार्गदर्शिका ऊपर पिन किए गए अंशों में से चयनित अंशों को प्रस्तुत करती है।SKILL.mdयह अनुवाद सहायता से किया गया है। यह कोई संपूर्ण नियमावली या परीक्षित संगतता का दावा नहीं है। उपयोग करने से पहले मूल दस्तावेज़ और उससे संबंधित फ़ाइलों को पढ़ें।
यह परिचय नीचे पिन किए गए संस्करण को संदर्भित करता है; वर्तमान रिपॉजिटरी गतिविधि और संग्रह समय अलग से दिखाए गए हैं।
- पिन किया गया स्रोत
- मूल लेख पढ़ें ↗
- स्रोत प्राप्त किया गया
- स्रोत कमिट
fabc634a893f62ad5c2039830397efa35fa62715- स्रोत SHA-256
fb5c5e25103e38226e4d8ae28db84a01de42a11da4be1918fa72f833699f9d0d