Lokalisierter Leseleitfaden
hf-cloud-serving-image-selectionZweck, Verwendung und Quelle
Wählen Sie den passenden Serving-Container für die Bereitstellung eines SageMaker-Modells und ermitteln Sie dessen aktuelle Image-URI. Nutzen Sie diese Funktion immer dann, wenn Sie ein Modell an einem SageMaker-Endpunkt bereitstellen und eine Image-URI ausgewählt werden muss – beispielsweise wenn der Benutzer „Dieses LLM bereitstellen“, „Dieses HuggingFace-Modell hosten“, „Dieses feinabgestimmte Modell bereitstellen“, „Dieses Embedding-Modell bereitstellen“, „Einen Reranker hosten“, „Ein Sentence-Transformers-Modell bereitstellen“ angibt oder wenn Sie eine Container-URI im Bereitstellungscode fest codieren möchten. Von HuggingFace kuratierte Deep-Learning-Container sind IMMER vorzuziehen: HuggingFace vLLM (LLMs und generative Reranker), HuggingFace vLLM-Omni (multimodal), TEI (embeddings/cross-encoderReranker), HF Inference Toolkit (andere Transformer). Generische Images (AWS vLLM, DJL-LMI, SGLang) werden nur verwendet, wenn kein HuggingFace-Image kompatibel ist – niemals nur, weil sie eine neuere Version enthalten. Container-URIs werden niemals fest im Speicher hinterlegt, und TGI wird niemals als Standard verwendet. Dies verhindert Fehler durch veraltete Images und URIs aus falschen Regionen.
Quelle abgerufen:
- Quell-Repository
- huggingface/skills
- SKILL.md
skills/hf-cloud-serving-image-selection/SKILL.md- Repository-Sterne
- 11,241
- Repository zuletzt aktualisiert
- 2026-10-30
- Fähigkeitskategorien
- Cloud-Dienste
- Letzte Datenerfassung
Lizenz: Apache-2.0
Die Workflow-Auszüge dienen als Lesehilfe und sind keine ausführbaren Anweisungen von Codez. Für die Erstellung dieser Seite wurde keine Drittanbieter-Skill verwendet.
Die folgenden Abschnitte zu Zweck und Arbeitsablauf sind vorgelagertes Material, das zur besseren Lesbarkeit aufbereitet und übersetzt wurde. Sie unterscheiden sich von der separat gekennzeichneten redaktionellen Analyse von Codez.
Was diese Fähigkeit bewirkt
Wählen Sie den passenden Serving-Container für die Bereitstellung eines SageMaker-Modells und ermitteln Sie dessen aktuelle Image-URI. Nutzen Sie diese Funktion immer dann, wenn Sie ein Modell an einem SageMaker-Endpunkt bereitstellen und eine Image-URI ausgewählt werden muss – beispielsweise wenn der Benutzer „Dieses LLM bereitstellen“, „Dieses HuggingFace-Modell hosten“, „Dieses feinabgestimmte Modell bereitstellen“, „Dieses Embedding-Modell bereitstellen“, „Einen Reranker hosten“, „Ein Sentence-Transformers-Modell bereitstellen“ angibt oder wenn Sie eine Container-URI im Bereitstellungscode fest codieren möchten. Von HuggingFace kuratierte Deep-Learning-Container sind IMMER vorzuziehen: HuggingFace vLLM (LLMs und generative Reranker), HuggingFace vLLM-Omni (multimodal), TEI (embeddings/cross-encoderReranker), HF Inference Toolkit (andere Transformer). Generische Images (AWS vLLM, DJL-LMI, SGLang) werden nur verwendet, wenn kein HuggingFace-Image kompatibel ist – niemals nur, weil sie eine neuere Version enthalten. Container-URIs werden niemals fest im Speicher hinterlegt, und TGI wird niemals als Standard verwendet. Dies verhindert Fehler durch veraltete Images und URIs aus falschen Regionen.
Wie der vorgelagerte Workflow funktioniert
Workflow
Für jede Familie: Lesen Sie die URI von der AWS-Katalogseite. Suchen Sie den Abschnitt für die richtige Familie (z. B. „HuggingFace vLLM Inference“ für HuggingFace LLMs, „HuggingFace Text Embeddings Inference“ für Embeddings). Wählen Sie die neueste markierte Zeile aus.SageMakerFür die Plattformspalte – die neueste Version innerhalb dieser Familie. Wechseln Sie nicht zum Abschnitt einer anderen Familie, nur weil dort eine höhere Motorversion aufgeführt ist (siehe „Regel Null“). Ersetzen Sie with the user's region (from hf-cloud-aws-context-discovery)
Auswahl des Servierbildes
Der Servercontainer ist der häufigste Fehler, der eine SageMaker-Bereitstellung zum Scheitern bringen kann, die auf dem Papier korrekt aussah. Falscher Container, veraltetes Tag oder falsches AMI – all dies führt zu demselben undurchsichtigen Problem.Failed to pass health checkFehler.
Regel Null: HuggingFace-Bilder gewinnen immer.
Wenn sowohl eine von HuggingFace kuratierte Familie (huggingface-vllm,huggingface-vllm-omni,huggingface-sglang,tei,huggingface-pytorch-inference) und eine generische Familie (vllm,vllm-omni,sglang,djl-inference) kann das Modell bedienen, das HuggingFace-Bild ist obligatorisch, aber nicht bevorzugt. Die einzigen gültigen Gründe für die Verwendung eines generischen Bildes: Bestätigte Inkompatibilität – das Modell benötigt einarchitecture/modality/featureEs sind keine HuggingFace-Tag-Unterstützungen verfügbar, dies wurde anhand des Katalogs bestätigt (nicht angenommen).
curl -s https://huggingface.co/<model-id>/raw/main/config.json
# "architectures": ["Qwen3ForCausalLM"] → vLLM
# "architectures": ["XLMRobertaForSequenceClassification"] → TEIAnforderungen und Einrichtung
vLLM AMI-Anforderung
vLLM DLC-Bilder mit CUDA13oder höher (derzeitige Standardeinstellung):cu130) erfordern EinstellungInferenceAmiVersion=al2-ami-sagemaker-inference-gpu-3-1auf die Produktionsvariante. Dies gilt gleichermaßen fürhuggingface-vllmUndhuggingface-vllm-omni(auf demselben Cu geschichtet)130Basis) und zur AWSvllmRepository. Ohne dieses Repository stürzt der Container beim Start ab, ohne dass CloudWatch-Logs erstellt werden. Der Fehler ähnelt vielen anderen Problemen (Kontoprobleme, Kontingentüberschreitung, Netzwerkprobleme) und führt häufig zu falschen Diagnoseansätzen. Faustregel: Wenn das von Ihnen gewählte vLLM-Tag Folgendes enthältcu130oder später, bestehen--inference-ami-version al2-ami-sagemaker-inference-gpu-3-1Zudeploy.py. Wenn eine zukünftige CUDA-Version (cu140+) benötigt ein anderes AMI, fügen Sie der Tabelle eine Zeile hinzu, wenn AWS das neue Image veröffentlicht.
CUDA-/Instanzkompatibilität
Kritisch und leicht zu verwechseln: Der Treiber stammt vom Host-AMI, nicht von der Instanzfamilie – daher muss die GPU-Schnittstelle übergeben werden.3-1AMI (welches vLLM cu130Bilder benötigen sowieso) macht auchml.g5.*für Cu geeignet129+ Bilder.
Grenzwerte und Qualitätskontrollen
Aus dieser Datei wurde kein separater Grenzwertabschnitt ausgewählt. Dies bedeutet nicht, dass die Anwendung für jede Eingabe oder Umgebung geeignet ist. Überprüfen Sie den vollständigen Quellcode und validieren Sie Ihr Ergebnis selbst.
Beginnen Sie mit einem sicheren Testlauf
- Prüfen Sie den unterstützten Host und die Installationsanweisungen für das Repository. Halten Sie das Skill-Verzeichnis und die darin enthaltenen Skripte, Assets und Dokumentationen zusammen;SKILL.mdEine Einzelperson kann Abhängigkeiten außer Acht lassen.
- Geben Sie dem Agenten Ihre tatsächlichen Eingaben, die gewünschten Ausgaben und die Akzeptanzkriterien an. Aufrufsyntax und verfügbare Tools hängen vom Hostsystem ab; diese Website geht nicht von einem universellen Installationsbefehl aus.
- Testen Sie den Quellworkflow in einem temporären Projekt oder auf einer Kopie. Überprüfen Sie Vorgänge, die Dateien, Remote-Dienste oder abrechnungsfähige Ressourcen ändern, bevor Sie diese zulassen.
- Überprüfen Sie die Ausgabe anhand der Quellqualitätsprüfungen und Ihrer eigenen Anforderungen. Ein erfolgreicher Trigger oder eine hohe Anzahl von Sternen im Repository garantiert kein korrektes Ergebnis.
Lesen Sie mehr dazu in der Quelle.
- Auswahl des Servierbildes
- Regel Null: HuggingFace-Bilder gewinnen immer.
- Woher Bild-URIs stammen
- Schnelle Entscheidung
- Rerankers: TEI oder vLLM?
- Workflow
- TEI: Wählen Sie die richtige Variante
- vLLM AMI-Anforderung
- Konfiguration der vLLM DLCs (HuggingFace vLLM und AWS vLLM)
- Erforderlich für jede HuggingFace LLM-Implementierung
- Stimmung (optional)
- TEI konfigurieren
- CUDA-/Instanzkompatibilität
- VPC-/NAT-Gateway-Problem
- Wenn die Katalogseite nicht angezeigt wird, veraltet ist oder fehlerhaft ist
- Bekannte fehlerhafte Bilder (zuletzt geprüft im Juli)2026)
- Hub-Downloadzeit beim ersten Start
Verwandte Fähigkeiten
Übersetzung und Umfang
Dieser Leseleitfaden wählt Passagen aus dem markierten stromaufwärts gelegenen Abschnitt aus.SKILL.mdDie Übersetzung wurde unterstützt. Es handelt sich weder um ein vollständiges Handbuch noch um eine Garantie für geprüfte Kompatibilität. Lesen Sie vor der Verwendung das Original und die darin referenzierten Dateien.
Diese Einleitung bezieht sich auf die unten angepinnte Version; die aktuelle Repository-Aktivität und der Erfassungszeitpunkt werden separat angezeigt.
- Angeheftete Quelle
- Lesen Sie das Original ↗
- Quelle abgerufen
- Source-Commit
fabc634a893f62ad5c2039830397efa35fa62715- Quelle SHA-256
6af6adfe1cdcf7bcc061ee11e1e2cf88bae9fbb08bf79d16945ce748839c1d76