Guía de lectura localizada
hf-cloud-serving-image-selectionFinalidad, uso y origen
Seleccione el contenedor de servicio adecuado para la implementación de un modelo SageMaker y encuentre su URI de imagen actual. Utilice esta habilidad siempre que esté a punto de implementar un modelo en un punto final de SageMaker y sea necesario elegir una URI de imagen, incluso cuando el usuario diga "implementar este LLM", "alojar este modelo HuggingFace", "servir este modelo ajustado", "implementar este modelo de incrustación", "alojar un reordenador", "servir un modelo de transformación de oraciones" o cuando esté a punto de codificar cualquier URI de contenedor en el código de implementación. Los contenedores de aprendizaje profundo curados por HuggingFace SIEMPRE son los preferidos: HuggingFace vLLM (LLM y reordenadores generativos), HuggingFace vLLM-Omni (multimodal), TEI (embeddings/cross-encoderreordenadores), HF Inference Toolkit (otros transformadores). Las imágenes genéricas (AWS vLLM, DJL-LMI, SGLang) se utilizan solo cuando ninguna imagen de HuggingFace es compatible, nunca simplemente porque tengan una versión más reciente. Nunca codifique una URI de contenedor de memoria y nunca use TGI por defecto. Evita fallos por imágenes obsoletas y URI de región incorrecta.
Fuente recuperada:
- Repositorio de origen
- huggingface/skills
- SKILL.md
skills/hf-cloud-serving-image-selection/SKILL.md- Estrellas del repositorio
- 11,241
- Actualización del repositorio
- 2026-10-30
- Clasificación de habilidades
- Servicios en la nube
- Última recopilación
Licencia: Apache-2.0
Los extractos del flujo de trabajo son guías de lectura, no instrucciones ejecutables de Codez. No se utilizó ninguna habilidad de terceros para generar esta página.
Los siguientes fragmentos sobre el propósito y el flujo de trabajo son material preliminar, organizado y traducido para su lectura. Son distintos del análisis editorial de Codez, que se presenta por separado.
Lo que hace esta habilidad
Seleccione el contenedor de servicio adecuado para la implementación de un modelo SageMaker y encuentre su URI de imagen actual. Utilice esta habilidad siempre que esté a punto de implementar un modelo en un punto final de SageMaker y sea necesario elegir una URI de imagen, incluso cuando el usuario diga "implementar este LLM", "alojar este modelo HuggingFace", "servir este modelo ajustado", "implementar este modelo de incrustación", "alojar un reordenador", "servir un modelo de transformación de oraciones" o cuando esté a punto de codificar cualquier URI de contenedor en el código de implementación. Los contenedores de aprendizaje profundo curados por HuggingFace SIEMPRE son los preferidos: HuggingFace vLLM (LLM y reordenadores generativos), HuggingFace vLLM-Omni (multimodal), TEI (embeddings/cross-encoderreordenadores), HF Inference Toolkit (otros transformadores). Las imágenes genéricas (AWS vLLM, DJL-LMI, SGLang) se utilizan solo cuando ninguna imagen de HuggingFace es compatible, nunca simplemente porque tengan una versión más reciente. Nunca codifique una URI de contenedor de memoria y nunca use TGI por defecto. Evita fallos por imágenes obsoletas y URI de región incorrecta.
Cómo funciona el flujo de trabajo ascendente
Flujo de trabajo
Para cada familia: lea la URI de la página del catálogo de AWS. Busque la sección para la familia correcta (por ejemplo, "HuggingFace vLLM Inference" para HuggingFace LLM, "HuggingFace Text Embeddings Inference" para embeddings). Seleccione la fila más reciente marcadaSageMakerpara la columna de la plataforma: la más reciente dentro de esa familia. No cambie a la sección de otra familia porque enumera una versión de motor superior (consulte "Regla cero") Sustituya with the user's region (from hf-cloud-aws-context-discovery)
Selección de imágenes de servicio
El contenedor de servicio es el elemento con mayor probabilidad de romper una implementación de SageMaker que "parecía correcta en el papel". Un contenedor incorrecto, una etiqueta obsoleta o una AMI incorrecta producen el mismo problema opaco.Failed to pass health checkerror.
Regla cero: Las imágenes de HuggingFace siempre ganan.
Cuando una familia seleccionada por HuggingFace (huggingface-vllm,huggingface-vllm-omni,huggingface-sglang,tei,huggingface-pytorch-inference) y una familia genérica (vllm,vllm-omni,sglang,djl-inference) puede servir al modelo, el de HuggingFace es obligatorio, no preferido. Las únicas razones válidas para usar una imagen genérica: Incompatibilidad verificada: el modelo necesita unaarchitecture/modality/featureNo hay soportes disponibles para la etiqueta HuggingFace, confirmado con el catálogo (no se da por sentado).
curl -s https://huggingface.co/<model-id>/raw/main/config.json
# "architectures": ["Qwen3ForCausalLM"] → vLLM
# "architectures": ["XLMRobertaForSequenceClassification"] → TEIRequisitos y configuración
Requisito de AMI de vLLM
Imágenes DLC de vLLM con CUDA13o superior (valor predeterminado actual:cu130) requieren configuraciónInferenceAmiVersion=al2-ami-sagemaker-inference-gpu-3-1en la variante de producción. Esto se aplica igualmente ahuggingface-vllmyhuggingface-vllm-omni(capas sobre el mismo cu130base) y a AWSvllmrepositorio. Sin él, el contenedor se detiene al iniciarse sin que se creen registros de CloudWatch. El fallo se ve idéntico a muchos otros (problemas a nivel de cuenta, cuota, red) y habitualmente lleva a la gente por caminos de diagnóstico erróneos. Regla general: si la etiqueta vLLM que eligió contienecu130o más tarde, pasar--inference-ami-version al2-ami-sagemaker-inference-gpu-3-1adeploy.py. Si una versión futura de CUDA (cu140+) necesita una AMI diferente, agregue una fila a la tabla cuando AWS publique la nueva imagen.
Compatibilidad con CUDA/instancias
Crítico y fácil de equivocarse: el controlador proviene de la AMI del host, no de la familia de instancias, por lo que pasar la GPU-3-1AMI (que vLLM cu130Las imágenes requieren de todos modos) también hacenml.g5.*viable para cu129+ imágenes.
Límites y controles de calidad
No se seleccionó ningún pasaje con límites específicos en este archivo. Esto no significa que la habilidad sea segura para cualquier entrada o entorno. Revise el código fuente completo y valide su propio resultado.
Comience con una prueba segura.
- Verifique el host compatible y las instrucciones de instalación del repositorio. Mantenga juntos el directorio Skill y sus scripts, recursos y documentación a los que hace referencia;SKILL.mdsolo puede omitir dependencias.
- Proporcione al agente sus datos reales, el resultado deseado y los criterios de aceptación. La sintaxis de invocación y las herramientas disponibles dependen del sistema anfitrión; este sitio no presupone un comando de instalación universal.
- Pruebe el flujo de trabajo original en un proyecto desechable o en una copia. Revise las operaciones que modifican archivos, servicios remotos o recursos facturables antes de autorizarlas.
- Valide el resultado comparándolo con los controles de calidad de origen y sus propios requisitos. Un activador exitoso o un alto número de estrellas en el repositorio no garantizan un resultado correcto.
Lea más en la fuente
- Selección de imágenes de servicio
- Regla cero: Las imágenes de HuggingFace siempre ganan.
- De dónde provienen las URI de las imágenes
- Decisión rápida
- Reclasificadores: ¿TEI o vLLM?
- Flujo de trabajo
- TEI: elige la variante correcta
- Requisito de AMI de vLLM
- Configuración de los DLC de vLLM (HuggingFace vLLM y AWS vLLM)
- Requerido para cada implementación de HuggingFace LLM
- Afinación (opcional)
- Configuración de TEI
- Compatibilidad con CUDA/instancias
- Problema con la puerta de enlace VPC/NAT
- Cuando la página del catálogo no se muestra, está desactualizada o contiene errores.
- Imágenes con fallos conocidos (última comprobación: julio)2026)
- Tiempo de descarga del hub en el primer arranque
Habilidades relacionadas
Traducción y alcance
Esta guía de lectura selecciona pasajes de la sección fijada en la parte superior.SKILL.mdLa traducción es asistida. No se trata de un manual completo ni garantiza la compatibilidad. Lea el original y los archivos a los que hace referencia antes de usarlo.
Esta introducción hace referencia a la versión fijada a continuación; la actividad actual del repositorio y la hora de recopilación se muestran por separado.
- Fuente fijada
- Lee el original ↗
- Fuente recuperada
- Confirmación de origen
fabc634a893f62ad5c2039830397efa35fa62715- Fuente SHA-256
6af6adfe1cdcf7bcc061ee11e1e2cf88bae9fbb08bf79d16945ce748839c1d76