स्थानीयकृत पठन मार्गदर्शिका
hf-memउद्देश्य, उपयोग और स्रोत
हगिंग फेस हब से अनुमान लगाने के लिए सेफटेंसर या जीजीयूएफ मॉडल वेट लोड करने के लिए आवश्यक मेमोरी का अनुमान लगाने हेतु हगिंग फेस सीएलआई का उपयोग किया जाता है।
स्रोत प्राप्त किया गया:
- स्रोत रिपॉज़िटरी
- huggingface/skills
- SKILL.md
skills/hf-mem/SKILL.md- रिपॉज़िटरी Star
- 11,241
- रिपॉज़िटरी का अंतिम अपडेट
- 2026-10-30
- क्षमता वर्गीकरण
- अन्य
- अंतिम संग्रह समय
लाइसेंस: Apache-2.0
वर्कफ़्लो के अंश केवल पढ़ने में सहायता के लिए हैं, कोडेज़ से निष्पादन योग्य निर्देश नहीं हैं। इस पृष्ठ को बनाने के लिए किसी तृतीय-पक्ष स्किल का उपयोग नहीं किया गया है।
नीचे दिए गए उद्देश्य और कार्यप्रणाली संबंधी अंश प्रारंभिक सामग्री हैं, जिन्हें पढ़ने के लिए व्यवस्थित और अनुवादित किया गया है। ये अलग से लेबल किए गए कोडेज़ संपादकीय विश्लेषण से भिन्न हैं।
यह कौशल क्या करता है
हगिंग फेस हब से अनुमान लगाने के लिए सेफटेंसर या जीजीयूएफ मॉडल वेट लोड करने के लिए आवश्यक मेमोरी का अनुमान लगाने हेतु हगिंग फेस सीएलआई का उपयोग किया जाता है।
अपस्ट्रीम वर्कफ़्लो कैसे काम करता है
इसे कैसे चलाएं?
साथ चलाएं--model-idहगिंग फेस हब रिपॉजिटरी की ओर इशारा करते हुए, जो यह जांच करेगा कि इसमें सेफटेंसर (के माध्यम से) शामिल हैं या नहीं।model.safetensors,model.safetensors.index.jsonयदि शार्ड किया गया हो, याmodel_index.jsonडिफ्यूज़र के लिए) या GGUF मॉडल वेट्स को अंदर रखें। यदि रिपॉजिटरी में कई परिशुद्धता/क्वांटाइजेशन में GGUF मॉडल वेट्स हैं, तो अनुमान प्रति-फ़ाइल आधार पर होंगे, जबकि अनुमान के लिए आप उन सभी को लोड नहीं करेंगे बल्कि केवल एक परिशुद्धता को लोड करेंगे। यह देखते हुए, GGUF के लिए आपको प्रदान करने की आवश्यकता हो सकती है।--gguf-fileउस विशिष्ट फ़ाइल (या यदि शार्ड किया गया है तो पथ) को लक्षित करने के लिए जिसे आप चलाना चाहते हैं। इसके अतिरिक्त,hf-memइसके साथ आता है--experimentalयह फ्लैग केवी कैश मेमोरी की आवश्यकताओं की भी गणना करेगा, जो बड़े भाषा मॉडल के लिए उपयोगी है, यानी यह एलएलएम पर लागू होता है।...ForCausalLM), वीएलएम (...ForConditionalGeneration), और GGUF मॉडल। सेफ़टेंसर के लिए इस प्रकार उपयोग करें:
अवलोकन
hf_memयह एचटीटीपी रेंज अनुरोधों का उपयोग करके हगिंग फेस हब पर मौजूद मॉडलों के लिए सेफटेंसर और जीजीयूएफ के लिए मॉडल वेट और एक वैकल्पिक केवी कैश सहित अनुमान के लिए आवश्यक मेमोरी का अनुमान लगाता है, यानी स्थानीय रूप से किसी भी वेट को डाउनलोड या लोड किए बिना।
इसका उपयोग कब करें?
उपयोगकर्ता पूछता है कि किसी मॉडल को चलाने के लिए कितनी VRAM या मेमोरी की आवश्यकता होती है। उपयोगकर्ता यह जानना चाहता है कि क्या मॉडल उनके GPU या दिए गए इंस्टेंस पर फिट होगा। उपयोगकर्ता Hugging Face मॉडल ID या URL का संदर्भ देता है और अनुमान संबंधी आवश्यकताओं के बारे में पूछता है।
ऊपर की ओर मार्ग · L8 ↗uvx hf-mem --model-id <model-id> --json-outputआवश्यकताएँ और सेटअप
क्या-क्या आवश्यकताएं हैं?
uvस्थापित (के लिएuvx)HF_TOKENपर्यावरण चर या--hf-tokenध्वज (केवल प्रतिबंधित या निजी मॉडलों के लिए)
सीमाएं और गुणवत्ता जांच
इस फ़ाइल से कोई अलग सीमा अंश नहीं चुना गया है। इसका मतलब यह नहीं है कि यह स्किल हर इनपुट या वातावरण के लिए सुरक्षित है। संपूर्ण स्रोत की समीक्षा करें और अपने परिणाम की पुष्टि करें।
सुरक्षित परीक्षण से शुरुआत करें
- समर्थित होस्ट और रिपॉजिटरी इंस्टॉलेशन निर्देशों की जाँच करें। स्किल डायरेक्टरी और उससे संबंधित स्क्रिप्ट, एसेट्स और डॉक्यूमेंटेशन को एक साथ रखें;SKILL.mdअकेले होने पर निर्भरताओं को छोड़ा जा सकता है।
- एजेंट को अपना वास्तविक इनपुट, अपेक्षित आउटपुट और स्वीकृति मानदंड प्रदान करें। इनवोकेशन सिंटैक्स और उपलब्ध उपकरण होस्ट पर निर्भर करते हैं; यह साइट किसी सार्वभौमिक इंस्टॉलेशन कमांड को नहीं मानती है।
- डिस्पोजेबल प्रोजेक्ट या उसकी कॉपी पर मूल वर्कफ़्लो को आज़माएँ। फ़ाइलों, रिमोट सेवाओं या बिल योग्य संसाधनों में परिवर्तन करने वाले कार्यों की अनुमति देने से पहले उनकी समीक्षा करें।
- स्रोत गुणवत्ता जांच और अपनी आवश्यकताओं के आधार पर आउटपुट को सत्यापित करें। सफल ट्रिगर या उच्च रिपॉजिटरी स्टार संख्या सही परिणाम की गारंटी नहीं देते।
मूल लेख में आगे पढ़ें
सम्बंधित योग्यता
अनुवाद और दायरा
यह पठन मार्गदर्शिका ऊपर पिन किए गए अंशों में से चयनित अंशों को प्रस्तुत करती है।SKILL.mdयह अनुवाद सहायता से किया गया है। यह कोई संपूर्ण नियमावली या परीक्षित संगतता का दावा नहीं है। उपयोग करने से पहले मूल दस्तावेज़ और उससे संबंधित फ़ाइलों को पढ़ें।
यह परिचय नीचे पिन किए गए संस्करण को संदर्भित करता है; वर्तमान रिपॉजिटरी गतिविधि और संग्रह समय अलग से दिखाए गए हैं।
- पिन किया गया स्रोत
- मूल लेख पढ़ें ↗
- स्रोत प्राप्त किया गया
- स्रोत कमिट
fabc634a893f62ad5c2039830397efa35fa62715- स्रोत SHA-256
ee99f9d97e084aa61a80eaec4e6de2265341e71256d918d48fb87a2ac01ce99f