Lokalisierter Leseleitfaden
hf-cloud-sagemaker-production-defaultsZweck, Verwendung und Quelle
Erstellen Sie einen SageMaker-Endpunkt (Echtzeit, Echtzeit-Skalierung auf Null oder asynchron) mit standardmäßig aktivierter automatischer Skalierung, CloudWatch-Alarmen und Tagging. Verwenden Sie diese Funktion immer dann, wenn Sie einen SageMaker-Endpunkt erstellen und Bereitstellungscode schreiben, der diese Funktion aufruft.create_endpointoder die Bereitstellung abschließen, nachdem die Image-URI und die IAM-Rolle bekannt sind. Bietetdeploy.pyfür Echtzeit-Endpunkte,deploy_ic.pyfür Echtzeit-Endpunkte, die über Inferenzkomponenten auf Null-Instanzen skalieren, unddeploy_async.pyfür asynchrone Endpunkte (auch Skalierung auf Null). Dies ist der letzte Schritt im SageMaker-Bereitstellungsworkflow. Generieren Sie niemals eine leere Datei.create_endpointAufrufe ohne diese Standardeinstellungen – Endpunkte ohne automatische Skalierung oder Alarme sind Demos, keine Bereitstellungen.
Quelle abgerufen:
- Quell-Repository
- huggingface/skills
- SKILL.md
skills/hf-cloud-sagemaker-production-defaults/SKILL.md- Repository-Sterne
- 11,241
- Repository zuletzt aktualisiert
- 2026-10-30
- Fähigkeitskategorien
- Cloud-Dienste
- Letzte Datenerfassung
Lizenz: Apache-2.0
Die Workflow-Auszüge dienen als Lesehilfe und sind keine ausführbaren Anweisungen von Codez. Für die Erstellung dieser Seite wurde keine Drittanbieter-Skill verwendet.
Die folgenden Abschnitte zu Zweck und Arbeitsablauf sind vorgelagertes Material, das zur besseren Lesbarkeit aufbereitet und übersetzt wurde. Sie unterscheiden sich von der separat gekennzeichneten redaktionellen Analyse von Codez.
Was diese Fähigkeit bewirkt
Erstellen Sie einen SageMaker-Endpunkt (Echtzeit, Echtzeit-Skalierung auf Null oder asynchron) mit standardmäßig aktivierter automatischer Skalierung, CloudWatch-Alarmen und Tagging. Verwenden Sie diese Funktion immer dann, wenn Sie einen SageMaker-Endpunkt erstellen und Bereitstellungscode schreiben, der diese Funktion aufruft.create_endpointoder die Bereitstellung abschließen, nachdem die Image-URI und die IAM-Rolle bekannt sind. Bietetdeploy.pyfür Echtzeit-Endpunkte,deploy_ic.pyfür Echtzeit-Endpunkte, die über Inferenzkomponenten auf Null-Instanzen skalieren, unddeploy_async.pyfür asynchrone Endpunkte (auch Skalierung auf Null). Dies ist der letzte Schritt im SageMaker-Bereitstellungsworkflow. Generieren Sie niemals eine leere Datei.create_endpointAufrufe ohne diese Standardeinstellungen – Endpunkte ohne automatische Skalierung oder Alarme sind Demos, keine Bereitstellungen.
Wie der vorgelagerte Workflow funktioniert
SageMaker Produktionsvorgaben
Der Unterschied zwischen einem Demo-Endpunkt und einem dauerhaft betriebenen Endpunkt liegt darin, dass er mit dem Datenverkehr skaliert, Fehler meldet und später debuggt werden kann. Diese Funktion macht diese drei Funktionen standardmäßig verfügbar. Zum Zeitpunkt der Ausführung hat der Planer einen Echtzeit-Endpunkt ausgewählt, IAM verfügt über eine nutzbare Rolle und die Image-Auswahl hat eine Container-URI sowie eine AMI-Version ermittelt. Diese Funktion wandelt diese Konfigurationen in eine tatsächliche Bereitstellung um.
Aufwärtspassage · L6 ↗Was entsteht
Für jeden Endpunkt erstellt der Skill diese als Einheit: SageMaker-Modell – Image + Umgebungsvariablen + Ausführungsrolle + S3Artefakte
Aufwärtspassage · L12 ↗Ausführen der Bereitstellung
Für ein textgeneriertes LLM (vLLM) verpacken Sie zunächst den fixierten Modell-Snapshot als SageMaker.model.tar.gzArtefakt und laden Sie es in ein kontokontrolliertes S hoch.3Bucket. SageMaker extrahiert es unter/opt/ml/modelDaher ruft die Bereitstellung keinen Repository-Code zur Laufzeit ab oder führt ihn aus: Für ein Einbettungsmodell (TEI, oft auf der CPU):
python scripts/deploy.py \
--model-name qwen3-medical \
--image-uri "$IMAGE_URI" \
--inference-ami-version "$AMI" \
--role-arn "$ROLE_ARN" \
--model-s3-uri "s3://<your-model-bucket>/qwen3-medical/model.tar.gz" \
--instance-type ml.g5.xlarge \
--region "$REGION" \
--env SM_VLLM_MODEL=/opt/ml/model \
--env SM_VLLM_HOST=0.0.0.0 \
--env SM_VLLM_TRUST_REMOTE_CODE=false \
--env SM_VLLM_MAX_MODEL_LEN=4096Anforderungen und Einrichtung
Aus dieser Datei wurde kein Abschnitt mit kurzen Anforderungen ausgewählt. Dies bedeutet nicht, dass die Fertigkeit keine Abhängigkeiten hat. Überprüfen Sie die Anweisungen zur Repository-Einrichtung und die referenzierten Dateien.
Grenzwerte und Qualitätskontrollen
Aus dieser Datei wurde kein separater Grenzwertabschnitt ausgewählt. Dies bedeutet nicht, dass die Anwendung für jede Eingabe oder Umgebung geeignet ist. Überprüfen Sie den vollständigen Quellcode und validieren Sie Ihr Ergebnis selbst.
Beginnen Sie mit einem sicheren Testlauf
- Prüfen Sie den unterstützten Host und die Installationsanweisungen für das Repository. Halten Sie das Skill-Verzeichnis und die darin enthaltenen Skripte, Assets und Dokumentationen zusammen;SKILL.mdEine Einzelperson kann Abhängigkeiten außer Acht lassen.
- Geben Sie dem Agenten Ihre tatsächlichen Eingaben, die gewünschten Ausgaben und die Akzeptanzkriterien an. Aufrufsyntax und verfügbare Tools hängen vom Hostsystem ab; diese Website geht nicht von einem universellen Installationsbefehl aus.
- Testen Sie den Quellworkflow in einem temporären Projekt oder auf einer Kopie. Überprüfen Sie Vorgänge, die Dateien, Remote-Dienste oder abrechnungsfähige Ressourcen ändern, bevor Sie diese zulassen.
- Überprüfen Sie die Ausgabe anhand der Quellqualitätsprüfungen und Ihrer eigenen Anforderungen. Ein erfolgreicher Trigger oder eine hohe Anzahl von Sternen im Repository garantiert kein korrektes Ergebnis.
Lesen Sie mehr dazu in der Quelle.
- SageMaker Produktionsvorgaben
- Was entsteht
- Ausführen der Bereitstellung
- InService ist noch kein Erfolg – erst einen Härtetest durchführen, bevor man den Sieg verkündet.
- Testen eines Echtzeit-Endpunkts
- Die UTF-8BOM-Falle (Windows)
- Aufruf eines generativen Rerankers (vLLM)
- Auswahl der Bild-URI
- Für Echtzeit-Endpunkte auf Null skalieren
- Wie es sich unterscheidetdeploy.py
- Gemessenes Verhalten
- Dimensionierung der Komponente
- Aufrufen und Testen
- Abbau-Reihenfolge
- Bereitstellungen von asynchronen Inferenzfunktionen
- Wie die Skalierung auf Null funktioniert
- Asynchrone Alarme
- Aufrufen asynchroner Endpunkte
- Standardeinstellungen auf einen Blick
- Autoscaling-Ziel – Anpassung nach Modelltyp
- Datenerfassung + IAM-Falle
- Abreißen
- Wenn die Bereitstellung fehlschlägt
Verwandte Fähigkeiten
Übersetzung und Umfang
Dieser Leseleitfaden wählt Passagen aus dem markierten stromaufwärts gelegenen Abschnitt aus.SKILL.mdDie Übersetzung wurde unterstützt. Es handelt sich weder um ein vollständiges Handbuch noch um eine Garantie für geprüfte Kompatibilität. Lesen Sie vor der Verwendung das Original und die darin referenzierten Dateien.
Diese Einleitung bezieht sich auf die unten angepinnte Version; die aktuelle Repository-Aktivität und der Erfassungszeitpunkt werden separat angezeigt.
- Angeheftete Quelle
- Lesen Sie das Original ↗
- Quelle abgerufen
- Source-Commit
fabc634a893f62ad5c2039830397efa35fa62715- Quelle SHA-256
6a8c1aff465e548ac4476d56831f864621af83b6a0f54544637601f3ecc44f9e