स्थानीयकृत पठन मार्गदर्शिका
hf-cloud-serving-image-selectionउद्देश्य, उपयोग और स्रोत
SageMaker मॉडल परिनियोजन के लिए सही सर्विंग कंटेनर चुनें और उसका वर्तमान इमेज URI ज्ञात करें। जब भी आप किसी मॉडल को SageMaker एंडपॉइंट पर परिनियोजित करने वाले हों और इमेज URI चुनने की आवश्यकता हो, तो इस कौशल का उपयोग करें — चाहे उपयोगकर्ता "इस LLM को परिनियोजित करें", "इस HuggingFace मॉडल को होस्ट करें", "इस फाइन-ट्यून्ड मॉडल को सर्व करें", "इस एम्बेडिंग मॉडल को परिनियोजित करें", "एक रीरैंकर को होस्ट करें", "एक सेंटेंस-ट्रांसफॉर्मर्स मॉडल को सर्व करें" कहे या परिनियोजन कोड में किसी कंटेनर URI को हार्डकोड करने वाले हों। HuggingFace द्वारा क्यूरेट किए गए डीप लर्निंग कंटेनर हमेशा प्राथमिकता दिए जाते हैं: HuggingFace vLLM (LLM और जनरेटिव रीरैंकर), HuggingFace vLLM-Omni (मल्टीमॉडल), TEI (embeddings/cross-encoderरीरैंकर), एचएफ इन्फरेंस टूलकिट (अन्य ट्रांसफॉर्मर)। जेनेरिक इमेज (AWS vLLM, DJL-LMI, SGLang) का उपयोग केवल तभी किया जाता है जब कोई हगिंगफेस इमेज संगत न हो — केवल इसलिए कभी नहीं कि उनमें नया संस्करण है। मेमोरी से कंटेनर यूआरआई को कभी भी हार्डकोड न करें और कभी भी TGI को डिफ़ॉल्ट के रूप में उपयोग न करें। इससे पुरानी इमेज की विफलता और गलत क्षेत्र यूआरआई से बचाव होता है।
स्रोत प्राप्त किया गया:
- स्रोत रिपॉज़िटरी
- huggingface/skills
- SKILL.md
skills/hf-cloud-serving-image-selection/SKILL.md- रिपॉज़िटरी Star
- 11,241
- रिपॉज़िटरी का अंतिम अपडेट
- 2026-10-30
- क्षमता वर्गीकरण
- क्लाउड सेवाएं
- अंतिम संग्रह समय
लाइसेंस: Apache-2.0
वर्कफ़्लो के अंश केवल पढ़ने में सहायता के लिए हैं, कोडेज़ से निष्पादन योग्य निर्देश नहीं हैं। इस पृष्ठ को बनाने के लिए किसी तृतीय-पक्ष स्किल का उपयोग नहीं किया गया है।
नीचे दिए गए उद्देश्य और कार्यप्रणाली संबंधी अंश प्रारंभिक सामग्री हैं, जिन्हें पढ़ने के लिए व्यवस्थित और अनुवादित किया गया है। ये अलग से लेबल किए गए कोडेज़ संपादकीय विश्लेषण से भिन्न हैं।
यह कौशल क्या करता है
SageMaker मॉडल परिनियोजन के लिए सही सर्विंग कंटेनर चुनें और उसका वर्तमान इमेज URI ज्ञात करें। जब भी आप किसी मॉडल को SageMaker एंडपॉइंट पर परिनियोजित करने वाले हों और इमेज URI चुनने की आवश्यकता हो, तो इस कौशल का उपयोग करें — चाहे उपयोगकर्ता "इस LLM को परिनियोजित करें", "इस HuggingFace मॉडल को होस्ट करें", "इस फाइन-ट्यून्ड मॉडल को सर्व करें", "इस एम्बेडिंग मॉडल को परिनियोजित करें", "एक रीरैंकर को होस्ट करें", "एक सेंटेंस-ट्रांसफॉर्मर्स मॉडल को सर्व करें" कहे या परिनियोजन कोड में किसी कंटेनर URI को हार्डकोड करने वाले हों। HuggingFace द्वारा क्यूरेट किए गए डीप लर्निंग कंटेनर हमेशा प्राथमिकता दिए जाते हैं: HuggingFace vLLM (LLM और जनरेटिव रीरैंकर), HuggingFace vLLM-Omni (मल्टीमॉडल), TEI (embeddings/cross-encoderरीरैंकर), एचएफ इन्फरेंस टूलकिट (अन्य ट्रांसफॉर्मर)। जेनेरिक इमेज (AWS vLLM, DJL-LMI, SGLang) का उपयोग केवल तभी किया जाता है जब कोई हगिंगफेस इमेज संगत न हो — केवल इसलिए कभी नहीं कि उनमें नया संस्करण है। मेमोरी से कंटेनर यूआरआई को कभी भी हार्डकोड न करें और कभी भी TGI को डिफ़ॉल्ट के रूप में उपयोग न करें। इससे पुरानी इमेज की विफलता और गलत क्षेत्र यूआरआई से बचाव होता है।
अपस्ट्रीम वर्कफ़्लो कैसे काम करता है
कार्यप्रवाह
प्रत्येक फ़ैमिली के लिए: AWS कैटलॉग पेज से URI पढ़ें। सही फ़ैमिली के लिए सेक्शन ढूंढें (उदाहरण के लिए, HuggingFace LLM के लिए "HuggingFace vLLM Inference", एम्बेडिंग के लिए "HuggingFace Text Embeddings Inference")। चिह्नित सबसे नई पंक्ति चुनें।SageMakerप्लेटफ़ॉर्म कॉलम के लिए — उस परिवार में सबसे नया। किसी अन्य परिवार के अनुभाग पर न जाएँ क्योंकि उसमें उच्च इंजन संस्करण सूचीबद्ध है (देखें "नियम शून्य")। के स्थान पर का प्रयोग करें। with the user's region (from hf-cloud-aws-context-discovery)
छवि चयन सेवा
सर्विंग कंटेनर ही वह एकमात्र चीज़ है जो SageMaker डिप्लॉयमेंट को, जो देखने में "कागज़ पर सही" लग रहा था, सबसे ज़्यादा बिगाड़ सकती है। गलत कंटेनर, पुराना टैग, या गलत AMI — ये सभी एक ही अस्पष्ट समस्या पैदा करते हैं।Failed to pass health checkगलती।
पहला नियम: गले मिलते हुए चेहरे वाली तस्वीरें हमेशा जीतती हैं
जब हगिंगफेस द्वारा चयनित परिवार (huggingface-vllm,huggingface-vllm-omni,huggingface-sglang,tei,huggingface-pytorch-inference) और एक सामान्य परिवार (vllm,vllm-omni,sglang,djl-inference) मॉडल के लिए उपयुक्त है, लेकिन हगिंगफेस वाला अनिवार्य है, पसंदीदा नहीं। एक सामान्य छवि का उपयोग करने के केवल वैध कारण हैं: सत्यापित असंगति — मॉडल को एक की आवश्यकता हैarchitecture/modality/featureकैटलॉग के आधार पर पुष्टि की गई है (अनुमानित नहीं), कोई उपलब्ध हगिंगफेस टैग समर्थन नहीं है।
curl -s https://huggingface.co/<model-id>/raw/main/config.json
# "architectures": ["Qwen3ForCausalLM"] → vLLM
# "architectures": ["XLMRobertaForSequenceClassification"] → TEIआवश्यकताएँ और सेटअप
vLLM AMI आवश्यकता
CUDA के साथ vLLM DLC छवियां13या इससे अधिक (वर्तमान डिफ़ॉल्ट:cu130) सेटिंग की आवश्यकता हैInferenceAmiVersion=al2-ami-sagemaker-inference-gpu-3-1प्रोडक्शन वेरिएंट पर। यह बात समान रूप से लागू होती है।huggingface-vllmऔरhuggingface-vllm-omni(एक ही कप पर स्तरित)130बेस) और एडब्ल्यूएस कोvllmइसके बिना कंटेनर स्टार्टअप पर ही क्रैश हो जाता है और कोई क्लाउडवॉच लॉग भी नहीं बनता। यह विफलता कई अन्य समस्याओं (खाता-स्तर की समस्याएं, कोटा, नेटवर्किंग) से मिलती-जुलती दिखती है और अक्सर लोगों को गलत निदान की ओर ले जाती है। सामान्य नियम: यदि आपके द्वारा चुने गए vLLM टैग में यह समस्या है, तो कंटेनर को रिपॉजिटरी में डाल दें।cu130या बाद में, पास--inference-ami-version al2-ami-sagemaker-inference-gpu-3-1कोdeploy.py. यदि भविष्य का CUDA संस्करण (cu140+) यदि किसी अन्य AMI की आवश्यकता है, तो AWS द्वारा नई छवि प्रकाशित करने पर तालिका में एक पंक्ति जोड़ें।
CUDA / इंस्टेंस संगतता
महत्वपूर्ण और गलती होने की संभावना अधिक: ड्राइवर होस्ट AMI से आता है, न कि इंस्टेंस फ़ैमिली से — इसलिए GPU को पास करना3-1एएमआई (जो वीएलएलएम सीयू130(छवियों की आवश्यकता तो वैसे भी होती है) भी बनाता हैml.g5.*सीयू के लिए व्यवहार्य129+ चित्र।
सीमाएं और गुणवत्ता जांच
इस फ़ाइल से कोई अलग सीमा अंश नहीं चुना गया है। इसका मतलब यह नहीं है कि यह स्किल हर इनपुट या वातावरण के लिए सुरक्षित है। संपूर्ण स्रोत की समीक्षा करें और अपने परिणाम की पुष्टि करें।
सुरक्षित परीक्षण से शुरुआत करें
- समर्थित होस्ट और रिपॉजिटरी इंस्टॉलेशन निर्देशों की जाँच करें। स्किल डायरेक्टरी और उससे संबंधित स्क्रिप्ट, एसेट्स और डॉक्यूमेंटेशन को एक साथ रखें;SKILL.mdअकेले होने पर निर्भरताओं को छोड़ा जा सकता है।
- एजेंट को अपना वास्तविक इनपुट, अपेक्षित आउटपुट और स्वीकृति मानदंड प्रदान करें। इनवोकेशन सिंटैक्स और उपलब्ध उपकरण होस्ट पर निर्भर करते हैं; यह साइट किसी सार्वभौमिक इंस्टॉलेशन कमांड को नहीं मानती है।
- डिस्पोजेबल प्रोजेक्ट या उसकी कॉपी पर मूल वर्कफ़्लो को आज़माएँ। फ़ाइलों, रिमोट सेवाओं या बिल योग्य संसाधनों में परिवर्तन करने वाले कार्यों की अनुमति देने से पहले उनकी समीक्षा करें।
- स्रोत गुणवत्ता जांच और अपनी आवश्यकताओं के आधार पर आउटपुट को सत्यापित करें। सफल ट्रिगर या उच्च रिपॉजिटरी स्टार संख्या सही परिणाम की गारंटी नहीं देते।
मूल लेख में आगे पढ़ें
- छवि चयन सेवा
- पहला नियम: गले मिलते हुए चेहरे वाली तस्वीरें हमेशा जीतती हैं
- छवि यूआरआई कहाँ से आते हैं
- त्वरित निर्णय
- रीरैंकर्स: टीईआई या वीएलएलएम?
- कार्यप्रवाह
- टीईआई: सही विकल्प चुनें
- vLLM AMI आवश्यकता
- vLLM DLCs (HuggingFace vLLM और AWS vLLM) को कॉन्फ़िगर करना
- HuggingFace LLM के हर डिप्लॉयमेंट के लिए आवश्यक है
- ट्यूनिंग (वैकल्पिक)
- टीईआई को कॉन्फ़िगर करना
- CUDA / इंस्टेंस संगतता
- वीपीसी / एनएटी गेटवे समस्या
- जब कैटलॉग पेज प्रदर्शित न हो, पुराना हो या गलत हो
- ज्ञात रूप से क्षतिग्रस्त छवियां (अंतिम बार जुलाई में जांची गई)2026)
- पहली बार बूट होने पर हब डाउनलोड समय
सम्बंधित योग्यता
अनुवाद और दायरा
यह पठन मार्गदर्शिका ऊपर पिन किए गए अंशों में से चयनित अंशों को प्रस्तुत करती है।SKILL.mdयह अनुवाद सहायता से किया गया है। यह कोई संपूर्ण नियमावली या परीक्षित संगतता का दावा नहीं है। उपयोग करने से पहले मूल दस्तावेज़ और उससे संबंधित फ़ाइलों को पढ़ें।
यह परिचय नीचे पिन किए गए संस्करण को संदर्भित करता है; वर्तमान रिपॉजिटरी गतिविधि और संग्रह समय अलग से दिखाए गए हैं।
- पिन किया गया स्रोत
- मूल लेख पढ़ें ↗
- स्रोत प्राप्त किया गया
- स्रोत कमिट
fabc634a893f62ad5c2039830397efa35fa62715- स्रोत SHA-256
6af6adfe1cdcf7bcc061ee11e1e2cf88bae9fbb08bf79d16945ce748839c1d76