Guia de leitura localizado
hf-cloud-serving-image-selectionFinalidade, utilização e fonte
Escolha o contêiner de serviço correto para a implantação de um modelo do SageMaker e encontre seu URI de imagem atual. Use essa habilidade sempre que for implantar um modelo em um endpoint do SageMaker e for necessário escolher um URI de imagem — inclusive quando o usuário disser "implantar este LLM", "hospedar este modelo HuggingFace", "servir este modelo otimizado", "implantar este modelo de embedding", "hospedar um reranker", "servir um modelo de transformadores de sentenças" ou quando for codificar qualquer URI de contêiner no código de implantação. Os contêineres de aprendizado profundo selecionados pela HuggingFace são SEMPRE preferidos: HuggingFace vLLM (LLMs e rerankers generativos), HuggingFace vLLM-Omni (multimodal), TEI (embeddings/cross-encoderreclassificadores), HF Inference Toolkit (outros transformadores). Imagens genéricas (AWS vLLM, DJL-LMI, SGLang) são usadas somente quando nenhuma imagem do Hugging Face é compatível — nunca simplesmente por conterem uma versão mais recente. Nunca codifique um URI de contêiner diretamente da memória e nunca use TGI como padrão. Isso evita falhas de imagens desatualizadas e URIs de região incorreta.
Fonte recuperada:
- Repositório de origem
- huggingface/skills
- SKILL.md
skills/hf-cloud-serving-image-selection/SKILL.md- Estrelas do repositório
- 11,241
- Atualização do repositório
- 2026-10-30
- Classificação de Habilidades
- Serviços em nuvem
- Última coleta
Licença: Apache-2.0
Os trechos do fluxo de trabalho são auxiliares de leitura e não instruções executáveis do Codez. Nenhuma Skill de terceiros foi executada para gerar esta página.
Os trechos abaixo, que descrevem o propósito e o fluxo de trabalho, são material original, organizado e traduzido para facilitar a leitura. Eles são distintos da análise editorial da Codez, que possui uma etiqueta separada.
O que esta habilidade faz
Escolha o contêiner de serviço correto para a implantação de um modelo do SageMaker e encontre seu URI de imagem atual. Use essa habilidade sempre que for implantar um modelo em um endpoint do SageMaker e for necessário escolher um URI de imagem — inclusive quando o usuário disser "implantar este LLM", "hospedar este modelo HuggingFace", "servir este modelo otimizado", "implantar este modelo de embedding", "hospedar um reranker", "servir um modelo de transformadores de sentenças" ou quando for codificar qualquer URI de contêiner no código de implantação. Os contêineres de aprendizado profundo selecionados pela HuggingFace são SEMPRE preferidos: HuggingFace vLLM (LLMs e rerankers generativos), HuggingFace vLLM-Omni (multimodal), TEI (embeddings/cross-encoderreclassificadores), HF Inference Toolkit (outros transformadores). Imagens genéricas (AWS vLLM, DJL-LMI, SGLang) são usadas somente quando nenhuma imagem do Hugging Face é compatível — nunca simplesmente por conterem uma versão mais recente. Nunca codifique um URI de contêiner diretamente da memória e nunca use TGI como padrão. Isso evita falhas de imagens desatualizadas e URIs de região incorreta.
Como funciona o fluxo de trabalho upstream
Fluxo de trabalho
Para cada família: leia o URI na página do catálogo da AWS. Encontre a seção da família correta (por exemplo, "HuggingFace vLLM Inference" para HuggingFace LLMs, "HuggingFace Text Embeddings Inference" para embeddings). Selecione a linha mais recente marcada.SageMakerPara a coluna da plataforma — a mais recente dentro dessa família. Não mude para a seção de outra família porque ela lista uma versão de motor superior (consulte a "Regra zero"). Substitua with the user's region (from hf-cloud-aws-context-discovery)
Seleção de Imagens de Serviço
O contêiner de serviço é o fator isolado com maior probabilidade de quebrar uma implantação do SageMaker que "parecia correta no papel". Contêiner incorreto, tag desatualizada ou AMI incorreta — todos produzem o mesmo problema de opacidade.Failed to pass health checkerro.
Regra zero: as imagens do HuggingFace sempre vencem.
Quando uma família selecionada pela HuggingFace (huggingface-vllm,huggingface-vllm-omni,huggingface-sglang,tei,huggingface-pytorch-inference) e uma família genérica (vllm,vllm-omni,sglang,djl-inference) pode servir ao modelo, o da HuggingFace é obrigatório, não apenas preferencial. Os únicos motivos válidos para usar uma imagem genérica: Incompatibilidade comprovada — o modelo precisa de umaarchitecture/modality/featureNão há suporte disponível para tags HuggingFace, confirmado em relação ao catálogo (não presumido).
curl -s https://huggingface.co/<model-id>/raw/main/config.json
# "architectures": ["Qwen3ForCausalLM"] → vLLM
# "architectures": ["XLMRobertaForSequenceClassification"] → TEIRequisitos e configuração
Requisito de AMI vLLM
Imagens vLLM DLC com CUDA13ou superior (padrão atual:cu130) exigem configuraçãoInferenceAmiVersion=al2-ami-sagemaker-inference-gpu-3-1na variante de produção. Isso se aplica igualmente ahuggingface-vllmehuggingface-vllm-omni(em camadas no mesmo cu130base) e para a AWSvllmrepositório. Sem ele, o contêiner falha na inicialização, sem que nenhum log do CloudWatch seja criado. A falha parece idêntica a muitos outros problemas (problemas de nível de conta, cota, rede) e frequentemente leva as pessoas a diagnósticos incorretos. Regra geral: se a tag vLLM escolhida contivercu130ou mais tarde, passe--inference-ami-version al2-ami-sagemaker-inference-gpu-3-1paradeploy.py. Se uma versão futura do CUDA (cu140+) Precisa de uma AMI diferente; adicione uma linha à tabela quando a AWS publicar a nova imagem.
CUDA / compatibilidade de instância
Um detalhe crítico e fácil de errar: o driver vem da AMI do host, não da família de instâncias — portanto, passar o driver da GPU para a AMI é um erro comum.3-1AMI (que vLLM cu130(As imagens são necessárias de qualquer forma) também fazml.g5.*viável para cu129+ imagens.
Limites e verificações de qualidade
Nenhuma passagem de limites separada foi selecionada deste arquivo. Isso não significa que a Skill seja segura para todas as entradas ou ambientes. Analise o código-fonte completo e valide seus próprios resultados.
Comece com um teste seguro.
- Verifique o host compatível e as instruções de instalação do repositório. Mantenha o diretório Skill e seus scripts, recursos e documentação referenciados juntos;SKILL.mdsozinho pode omitir dependências.
- Forneça ao agente suas entradas reais, a saída desejada e os critérios de aceitação. A sintaxe de invocação e as ferramentas disponíveis dependem do host; este site não pressupõe um comando de instalação universal.
- Teste o fluxo de trabalho original em um projeto descartável ou em uma cópia. Analise as operações que alteram arquivos, serviços remotos ou recursos faturáveis antes de permiti-las.
- Valide o resultado comparando-o com as verificações de qualidade da fonte e com seus próprios requisitos. Um gatilho bem-sucedido ou uma alta contagem de estrelas no repositório não garantem um resultado correto.
Leia mais na fonte.
- Seleção de Imagens de Serviço
- Regra zero: as imagens do HuggingFace sempre vencem.
- De onde vêm os URIs das imagens?
- Decisão rápida
- Reclassificadores: TEI ou vLLM?
- Fluxo de trabalho
- TEI: escolha a variante correta
- Requisito de AMI vLLM
- Configurando os DLCs do vLLM (HuggingFace vLLM e AWS vLLM)
- Requerido para todas as implementações do HuggingFace LLM.
- Afinação (opcional)
- Configurando o TEI
- CUDA / compatibilidade de instância
- Problema com o gateway VPC/NAT
- Quando a página do catálogo não carrega, está desatualizada ou contém informações incorretas.
- Imagens com problemas conhecidos (última verificação em julho)2026)
- Tempo de download do Hub na primeira inicialização
Habilidades relacionadas
Tradução e escopo
Este guia de leitura seleciona trechos do texto fixado a montante.SKILL.mdA tradução foi feita com auxílio de ferramentas. Este não é um manual completo nem garante compatibilidade comprovada. Leia o original e os arquivos referenciados antes de usar.
Esta introdução refere-se à versão fixada abaixo; a atividade atual do repositório e o tempo de coleta são mostrados separadamente.
- Fonte fixada
- Leia o original ↗
- Fonte recuperada
- Commit de origem
fabc634a893f62ad5c2039830397efa35fa62715- Fonte SHA-256
6af6adfe1cdcf7bcc061ee11e1e2cf88bae9fbb08bf79d16945ce748839c1d76