Guide de lecture localisé
hf-cloud-serving-image-selectionObjectif, utilisation et source
Choisissez le conteneur de déploiement approprié pour un modèle SageMaker et trouvez son URI d'image actuel. Utilisez cette fonctionnalité chaque fois que vous vous apprêtez à déployer un modèle sur un point de terminaison SageMaker et qu'un URI d'image doit être sélectionné, notamment lorsque l'utilisateur indique « déployer ce LLM », « héberger ce modèle HuggingFace », « déployer ce modèle affiné », « déployer ce modèle d'embedding », « héberger un reranker », « déployer un modèle de transformation de phrases », ou lorsqu'il s'apprête à coder en dur un URI de conteneur dans le code de déploiement. Les conteneurs d'apprentissage profond HuggingFace sont TOUJOURS préférables : HuggingFace vLLM (LLM et rerankers génératifs), HuggingFace vLLM-Omni (multimodal), TEI (embeddings/cross-encoderLes images génériques (AWS vLLM, DJL-LMI, SGLang) ne sont utilisées que lorsqu'aucune image HuggingFace n'est compatible, et jamais simplement parce qu'elles contiennent une version plus récente. Il ne faut jamais coder en dur un URI de conteneur en mémoire ni utiliser TGI par défaut. Cela évite les erreurs liées aux images obsolètes et aux URI de région incorrectes.
Source récupérée:
- Dépôt source
- huggingface/skills
- SKILL.md
skills/hf-cloud-serving-image-selection/SKILL.md- Étoiles du dépôt
- 11,241
- Mise à jour du dépôt
- 2026-10-30
- Catégories de capacités
- Services cloud
- Dernière collecte
Licence : Apache-2.0
Les extraits de flux de travail sont des outils de lecture et non des instructions exécutables de Codez. Aucune compétence tierce n'a été utilisée pour générer cette page.
Les passages relatifs à l'objectif et au flux de travail ci-dessous constituent le contenu original, organisé et traduit pour la lecture. Ils sont distincts de l'analyse éditoriale de Codez, qui est étiquetée séparément.
À quoi sert cette compétence ?
Choisissez le conteneur de déploiement approprié pour un modèle SageMaker et trouvez son URI d'image actuel. Utilisez cette fonctionnalité chaque fois que vous vous apprêtez à déployer un modèle sur un point de terminaison SageMaker et qu'un URI d'image doit être sélectionné, notamment lorsque l'utilisateur indique « déployer ce LLM », « héberger ce modèle HuggingFace », « déployer ce modèle affiné », « déployer ce modèle d'embedding », « héberger un reranker », « déployer un modèle de transformation de phrases », ou lorsqu'il s'apprête à coder en dur un URI de conteneur dans le code de déploiement. Les conteneurs d'apprentissage profond HuggingFace sont TOUJOURS préférables : HuggingFace vLLM (LLM et rerankers génératifs), HuggingFace vLLM-Omni (multimodal), TEI (embeddings/cross-encoderLes images génériques (AWS vLLM, DJL-LMI, SGLang) ne sont utilisées que lorsqu'aucune image HuggingFace n'est compatible, et jamais simplement parce qu'elles contiennent une version plus récente. Il ne faut jamais coder en dur un URI de conteneur en mémoire ni utiliser TGI par défaut. Cela évite les erreurs liées aux images obsolètes et aux URI de région incorrectes.
Comment fonctionne le flux de travail en amont
Flux de travail
Pour chaque famille : lisez l’URI sur la page du catalogue AWS. Trouvez la section correspondant à la famille souhaitée (par exemple, « HuggingFace vLLM Inference » pour les modèles linéaires linéaires HuggingFace, « HuggingFace Text Embeddings Inference » pour les plongements lexicaux). Sélectionnez la ligne la plus récente marquéeSageMakerpour la colonne de la plateforme — la plus récente au sein de cette famille. Ne passez pas à la section d'une autre famille parce qu'elle indique une version de moteur plus récente (voir « Règle zéro »). Remplacez with the user's region (from hf-cloud-aws-context-discovery)
Sélection de l'image de présentation
Le conteneur de service est l'élément le plus susceptible de faire échouer un déploiement SageMaker qui, pourtant, « semblait correct sur le papier ». Un conteneur incorrect, une étiquette obsolète ou une AMI erronée produisent tous le même résultat opaque.Failed to pass health checkerreur.
Règle zéro : les images de HuggingFace gagnent toujours.
Quand une famille sélectionnée par HuggingFace (huggingface-vllm,huggingface-vllm-omni,huggingface-sglang,tei,huggingface-pytorch-inference) et une famille générique (vllm,vllm-omni,sglang,djl-inferenceL'image Hugging Face peut servir de modèle, mais elle est obligatoire, bien que non recommandée. Les seules raisons valables d'utiliser une image générique sont : une incompatibilité avérée (le modèle nécessite une image Hugging Face).architecture/modality/featureAucune prise en charge des étiquettes HuggingFace disponible, confirmée par rapport au catalogue (non présumée).
curl -s https://huggingface.co/<model-id>/raw/main/config.json
# "architectures": ["Qwen3ForCausalLM"] → vLLM
# "architectures": ["XLMRobertaForSequenceClassification"] → TEIConfiguration requise
Exigence AMI vLLM
Images vLLM DLC avec CUDA13ou supérieur (valeur par défaut actuelle :cu130) nécessite un paramétrageInferenceAmiVersion=al2-ami-sagemaker-inference-gpu-3-1sur la variante de production. Ceci s'applique également àhuggingface-vllmethuggingface-vllm-omni(superposés sur le même cu130base) et à AWSvllmle dépôt. Sans lui, le conteneur s'arrête au démarrage sans qu'aucun journal CloudWatch ne soit créé. Cette panne ressemble à beaucoup d'autres (problèmes de compte, de quota, de réseau) et induit souvent les utilisateurs en erreur. Règle générale : si l'étiquette vLLM que vous avez choisie contientcu130ou plus tard, passer--inference-ami-version al2-ami-sagemaker-inference-gpu-3-1àdeploy.py. Si une future version de CUDA (cu140+) nécessite une AMI différente ; ajoutez une ligne au tableau lorsque AWS publiera la nouvelle image.
Compatibilité CUDA/instance
Point crucial et erreur fréquente : le pilote provient de l’AMI hôte, et non de la famille d’instances ; il est donc important de ne pas passer le GPU.3-1AMI (qui vLLM cu130(les images nécessitent de toute façon) rend égalementml.g5.*viable pour cu129+ images.
Limites et contrôles de qualité
Aucun passage de limite distinct n'a été sélectionné dans ce fichier. Cela ne signifie pas que la compétence est sûre pour toutes les entrées ou tous les environnements. Consultez le code source complet et validez vos résultats.
Commencez par un essai sans danger
- Vérifiez l'hôte pris en charge et les instructions d'installation du dépôt. Conservez le répertoire Skill ainsi que ses scripts, ressources et documentation référencés ;SKILL.mdSeul, il peut omettre les dépendances.
- Indiquez à l'agent vos paramètres d'entrée réels, le résultat souhaité et les critères d'acceptation. La syntaxe d'appel et les outils disponibles dépendent du système hôte ; ce site ne propose pas de commande d'installation universelle.
- Testez le flux de travail source dans un projet temporaire ou sur une copie. Avant d'autoriser les opérations qui modifient des fichiers, des services distants ou des ressources facturables, examinez-les attentivement.
- Vérifiez la conformité du résultat avec les contrôles qualité sources et vos propres exigences. Un déclenchement réussi ou un nombre élevé d'étoiles dans le dépôt ne garantissent pas un résultat correct.
Pour en savoir plus, consultez la source.
- Sélection de l'image de présentation
- Règle zéro : les images de HuggingFace gagnent toujours.
- D'où proviennent les URI des images
- Décision rapide
- Réévaluation des classements : TEI ou vLLM ?
- Flux de travail
- TEI : choisissez la bonne variante
- Exigence AMI vLLM
- Configuration des DLC vLLM (HuggingFace vLLM et AWS vLLM)
- Requis pour chaque déploiement HuggingFace LLM
- Accordage (facultatif)
- Configuration de TEI
- Compatibilité CUDA/instance
- Problème de passerelle VPC/NAT
- Lorsque la page du catalogue ne s'affiche pas, est obsolète ou est erronée
- Images connues pour être défectueuses (dernière vérification en juillet)2026)
- Temps de téléchargement du hub au premier démarrage
Compétences connexes
Traduction et étendue
Ce guide de lecture sélectionne des passages de l'amont épingléSKILL.mdCette traduction est assistée. Elle ne constitue pas un manuel complet et ne garantit pas une compatibilité testée. Veuillez lire le document original et les fichiers auxquels il fait référence avant utilisation.
Cette introduction fait référence à la version épinglée ci-dessous ; l’activité actuelle du dépôt et la durée de la collecte sont indiquées séparément.
- Source épinglée
- Lire l'original ↗
- Source récupérée
- Commit source
fabc634a893f62ad5c2039830397efa35fa62715- Source SHA-256
6af6adfe1cdcf7bcc061ee11e1e2cf88bae9fbb08bf79d16945ce748839c1d76