स्थानीयकृत पठन मार्गदर्शिका
huggingface-community-evalsउद्देश्य, उपयोग और स्रोत
स्थानीय हार्डवेयर पर inspect-ai और lighteval का उपयोग करके Hugging Face Hub मॉडल के लिए मूल्यांकन चलाएँ। इसका उपयोग बैकएंड चयन, स्थानीय GPU मूल्यांकन और vLLM / ट्रांसफ़ॉर्मर / एक्सेलेरेट के बीच चयन करने के लिए करें। यह HF जॉब्स ऑर्केस्ट्रेशन, मॉडल-कार्ड PRs, .eval_results प्रकाशन या सामुदायिक मूल्यांकन स्वचालन के लिए उपयुक्त नहीं है।
स्रोत प्राप्त किया गया:
- स्रोत रिपॉज़िटरी
- huggingface/skills
- SKILL.md
skills/huggingface-community-evals/SKILL.md- रिपॉज़िटरी Star
- 11,241
- रिपॉज़िटरी का अंतिम अपडेट
- 2026-10-30
- क्षमता वर्गीकरण
- स्वचालन
- अंतिम संग्रह समय
लाइसेंस: Apache-2.0
वर्कफ़्लो के अंश केवल पढ़ने में सहायता के लिए हैं, कोडेज़ से निष्पादन योग्य निर्देश नहीं हैं। इस पृष्ठ को बनाने के लिए किसी तृतीय-पक्ष स्किल का उपयोग नहीं किया गया है।
नीचे दिए गए उद्देश्य और कार्यप्रणाली संबंधी अंश प्रारंभिक सामग्री हैं, जिन्हें पढ़ने के लिए व्यवस्थित और अनुवादित किया गया है। ये अलग से लेबल किए गए कोडेज़ संपादकीय विश्लेषण से भिन्न हैं।
यह कौशल क्या करता है
स्थानीय हार्डवेयर पर inspect-ai और lighteval का उपयोग करके Hugging Face Hub मॉडल के लिए मूल्यांकन चलाएँ। इसका उपयोग बैकएंड चयन, स्थानीय GPU मूल्यांकन और vLLM / ट्रांसफ़ॉर्मर / एक्सेलेरेट के बीच चयन करने के लिए करें। यह HF जॉब्स ऑर्केस्ट्रेशन, मॉडल-कार्ड PRs, .eval_results प्रकाशन या सामुदायिक मूल्यांकन स्वचालन के लिए उपयुक्त नहीं है।
अपस्ट्रीम वर्कफ़्लो कैसे काम करता है
मुख्य कार्यप्रवाह
मूल्यांकन ढांचा चुनें। उपयोग करेंinspect-aiजब आप स्पष्ट कार्य नियंत्रण और निरीक्षण-आधारित प्रवाह चाहते हैं, तो इसका उपयोग करें।lightevalजब बेंचमार्क को स्वाभाविक रूप से लाइटइवैल टास्क स्ट्रिंग के रूप में व्यक्त किया जाता है, विशेष रूप से लीडरबोर्ड-शैली के कार्यों में। इन्फरेंस बैकएंड चुनें।
अवलोकन
यह कौशल स्थानीय हार्डवेयर पर हगिंग फेस हब पर मौजूद मॉडलों के विरुद्ध मूल्यांकन चलाने के लिए है।inspect-aiस्थानीय अनुमान के साथlightevalस्थानीय अनुमान के साथ चयन करनाvllm, हगिंग फेस ट्रांसफॉर्मर्स, औरaccelerate
दूरस्थ निष्पादन सीमा
यह कौशल जानबूझकर स्थानीय निष्पादन और बैकएंड चयन पर रुक जाता है। यदि उपयोगकर्ता चाहता है: हगिंग फेस जॉब्स पर इन स्क्रिप्ट को चलाना, रिमोट हार्डवेयर का चयन करना।
ऊपर की ओर मार्ग · L136 ↗आवश्यकताएँ और सेटअप
आवश्यक शर्तें
पसंद करनाuv runस्थानीय निष्पादन के लिए। सेट करेंHF_TOKENके लिएgated/privateमॉडल।
uv --version
printenv HF_TOKEN >/dev/null
nvidia-smiसीमाएं और गुणवत्ता जांच
इस फ़ाइल से कोई अलग सीमा अंश नहीं चुना गया है। इसका मतलब यह नहीं है कि यह स्किल हर इनपुट या वातावरण के लिए सुरक्षित है। संपूर्ण स्रोत की समीक्षा करें और अपने परिणाम की पुष्टि करें।
सुरक्षित परीक्षण से शुरुआत करें
- समर्थित होस्ट और रिपॉजिटरी इंस्टॉलेशन निर्देशों की जाँच करें। स्किल डायरेक्टरी और उससे संबंधित स्क्रिप्ट, एसेट्स और डॉक्यूमेंटेशन को एक साथ रखें;SKILL.mdअकेले होने पर निर्भरताओं को छोड़ा जा सकता है।
- एजेंट को अपना वास्तविक इनपुट, अपेक्षित आउटपुट और स्वीकृति मानदंड प्रदान करें। इनवोकेशन सिंटैक्स और उपलब्ध उपकरण होस्ट पर निर्भर करते हैं; यह साइट किसी सार्वभौमिक इंस्टॉलेशन कमांड को नहीं मानती है।
- डिस्पोजेबल प्रोजेक्ट या उसकी कॉपी पर मूल वर्कफ़्लो को आज़माएँ। फ़ाइलों, रिमोट सेवाओं या बिल योग्य संसाधनों में परिवर्तन करने वाले कार्यों की अनुमति देने से पहले उनकी समीक्षा करें।
- स्रोत गुणवत्ता जांच और अपनी आवश्यकताओं के आधार पर आउटपुट को सत्यापित करें। सफल ट्रिगर या उच्च रिपॉजिटरी स्टार संख्या सही परिणाम की गारंटी नहीं देते।
मूल लेख में आगे पढ़ें
सम्बंधित योग्यता
अनुवाद और दायरा
यह पठन मार्गदर्शिका ऊपर पिन किए गए अंशों में से चयनित अंशों को प्रस्तुत करती है।SKILL.mdयह अनुवाद सहायता से किया गया है। यह कोई संपूर्ण नियमावली या परीक्षित संगतता का दावा नहीं है। उपयोग करने से पहले मूल दस्तावेज़ और उससे संबंधित फ़ाइलों को पढ़ें।
यह परिचय नीचे पिन किए गए संस्करण को संदर्भित करता है; वर्तमान रिपॉजिटरी गतिविधि और संग्रह समय अलग से दिखाए गए हैं।
- पिन किया गया स्रोत
- मूल लेख पढ़ें ↗
- स्रोत प्राप्त किया गया
- स्रोत कमिट
fabc634a893f62ad5c2039830397efa35fa62715- स्रोत SHA-256
a97f1c703f55b72427453a76af858237e6392a447fcafa9eeb85f7ac67f0155d