현지화된 읽기 가이드
hf-cloud-serving-image-selection목적, 사용법 및 출처
SageMaker 모델 배포에 적합한 서빙 컨테이너를 선택하고 현재 이미지 URI를 찾으세요. 이 스킬은 SageMaker 엔드포인트에 모델을 배포할 때 이미지 URI를 선택해야 하는 경우, 예를 들어 사용자가 "이 LLM 배포", "이 HuggingFace 모델 호스팅", "이 미세 조정된 모델 제공", "이 임베딩 모델 배포", "리랭커 호스팅", "문장 변환기 모델 제공" 등을 지정할 때 또는 배포 코드에 컨테이너 URI를 하드코딩할 때 사용합니다. HuggingFace에서 엄선한 딥러닝 컨테이너(HuggingFace vLLM(LLM 및 생성형 리랭커), HuggingFace vLLM-Omni(멀티모달), TEI)를 항상 우선적으로 사용하세요.embeddings/cross-encoder리랭커(rerankers), HF 추론 툴킷(다른 트랜스포머)을 사용합니다. 일반 이미지(AWS vLLM, DJL-LMI, SGLang)는 HuggingFace 이미지와 호환되지 않는 경우에만 사용되며, 단순히 최신 버전이라는 이유만으로 사용하지 않습니다. 컨테이너 URI를 메모리에서 하드코딩하거나 TGI를 기본값으로 사용하지 않습니다. 이렇게 하면 오래된 이미지로 인한 오류 및 잘못된 지역 URI를 방지할 수 있습니다.
출처 검색됨:
- 소스 저장소
- huggingface/skills
- SKILL.md
skills/hf-cloud-serving-image-selection/SKILL.md- 저장소 Star
- 11,241
- 저장소 최근 업데이트
- 2026-10-30
- 능력 분류
- 클라우드 서비스
- 최근 수집 시간
라이선스: Apache-2.0
워크플로 발췌본은 이해를 돕기 위한 자료이며, Codez에서 제공하는 실행 가능한 명령어가 아닙니다. 이 페이지를 생성하는 데 타사 Skill은 사용되지 않았습니다.
아래의 목적 및 워크플로 관련 내용은 읽기 쉽도록 정리 및 번역된 상위 자료입니다. 이는 별도로 분류된 Codez 편집 분석과는 별개입니다.
이 스킬의 기능
SageMaker 모델 배포에 적합한 서빙 컨테이너를 선택하고 현재 이미지 URI를 찾으세요. 이 스킬은 SageMaker 엔드포인트에 모델을 배포할 때 이미지 URI를 선택해야 하는 경우, 예를 들어 사용자가 "이 LLM 배포", "이 HuggingFace 모델 호스팅", "이 미세 조정된 모델 제공", "이 임베딩 모델 배포", "리랭커 호스팅", "문장 변환기 모델 제공" 등을 지정할 때 또는 배포 코드에 컨테이너 URI를 하드코딩할 때 사용합니다. HuggingFace에서 엄선한 딥러닝 컨테이너(HuggingFace vLLM(LLM 및 생성형 리랭커), HuggingFace vLLM-Omni(멀티모달), TEI)를 항상 우선적으로 사용하세요.embeddings/cross-encoder리랭커(rerankers), HF 추론 툴킷(다른 트랜스포머)을 사용합니다. 일반 이미지(AWS vLLM, DJL-LMI, SGLang)는 HuggingFace 이미지와 호환되지 않는 경우에만 사용되며, 단순히 최신 버전이라는 이유만으로 사용하지 않습니다. 컨테이너 URI를 메모리에서 하드코딩하거나 TGI를 기본값으로 사용하지 않습니다. 이렇게 하면 오래된 이미지로 인한 오류 및 잘못된 지역 URI를 방지할 수 있습니다.
업스트림 워크플로우 작동 방식
워크플로우
각 제품군에 대해 AWS 카탈로그 페이지에서 URI를 읽습니다. 해당 제품군에 대한 섹션(예: HuggingFace LLM의 경우 "HuggingFace vLLM 추론", 임베딩의 경우 "HuggingFace 텍스트 임베딩 추론")을 찾습니다. 가장 최근에 추가된 행을 선택합니다.SageMaker플랫폼 열의 경우 해당 제품군 내에서 최신 버전을 표시합니다. 엔진 버전이 더 높다고 해서 다른 제품군의 섹션으로 전환하지 마십시오("규칙 0" 참조). 로 대체하십시오. with the user's region (from hf-cloud-aws-context-discovery)
이미지 선택 제공
서빙 컨테이너는 "서류상으로는 완벽해 보였던" SageMaker 배포를 실패로 이끌 가능성이 가장 높은 요소입니다. 잘못된 컨테이너, 오래된 태그 또는 잘못된 AMI는 모두 동일한 불투명한 결과를 초래합니다.Failed to pass health check오류.
제0규칙: 포옹하는 얼굴 이미지가 항상 승리한다
HuggingFace가 엄선한 가족 구성원이 (huggingface-vllm,huggingface-vllm-omni,huggingface-sglang,tei,huggingface-pytorch-inference) 및 일반 패밀리(vllm,vllm-omni,sglang,djl-inference) 모델을 사용할 수 있지만, HuggingFace 이미지는 필수이며 권장 사항은 아닙니다. 일반 이미지를 사용할 수 있는 유일한 타당한 이유는 다음과 같습니다. 호환성이 확인된 경우 - 모델에 특정 이미지가 필요합니다.architecture/modality/feature카탈로그를 통해 확인한 결과, HuggingFace 태그를 지원하는 태그가 없습니다(추정이 아님).
curl -s https://huggingface.co/<model-id>/raw/main/config.json
# "architectures": ["Qwen3ForCausalLM"] → vLLM
# "architectures": ["XLMRobertaForSequenceClassification"] → TEI요구 사항 및 설정
vLLM AMI 요구사항
CUDA를 사용한 vLLM DLC 이미지13또는 그 이상 (현재 기본값:cu130) 설정이 필요합니다InferenceAmiVersion=al2-ami-sagemaker-inference-gpu-3-1ProductionVariant에 적용됩니다. 이는 다음에도 동일하게 적용됩니다.huggingface-vllm그리고huggingface-vllm-omni(같은 구리 위에 겹쳐진)130(기반) 및 AWS로vllm리포지토리가 없으면 컨테이너가 시작 시 종료되고 CloudWatch 로그가 전혀 생성되지 않습니다. 이 오류는 계정 수준 문제, 할당량, 네트워킹 등 다른 여러 문제와 동일하게 보여 사람들이 잘못된 진단 경로로 향하게 되는 경우가 많습니다. 일반적인 규칙: 선택한 vLLM 태그에 다음 내용이 포함되어 있으면 문제가 해결될 수 있습니다.cu130또는 그 이후에 통과하다--inference-ami-version al2-ami-sagemaker-inference-gpu-3-1에게deploy.py. 향후 CUDA 버전(cu140+) 다른 AMI가 필요한 경우, AWS에서 새 이미지를 게시하면 테이블에 행을 추가합니다.
CUDA/인스턴스 호환성
중요하고 실수하기 쉬운 부분: 드라이버는 인스턴스 제품군이 아닌 호스트 AMI에서 가져옵니다. 따라서 GPU를 전달하면3-1AMI(vLLM cu)130이미지가 어쨌든 필요하다면 (또한)ml.g5.*cu에 실행 가능129+ 이미지.
제한 사항 및 품질 검사
이 파일에서 별도의 제한 조건 구문이 선택되지 않았습니다. 이는 해당 스킬이 모든 입력 또는 환경에서 안전하다는 것을 의미하지 않습니다. 전체 소스 코드를 검토하고 결과를 직접 확인하십시오.
안전한 시험 사용부터 시작하세요
- 지원되는 호스트와 저장소 설치 지침을 확인하세요. 스킬 디렉토리와 해당 디렉토리에서 참조하는 스크립트, 자산 및 문서를 함께 보관하세요.SKILL.md단독으로는 종속성을 생략할 수 있습니다.
- 에이전트에 실제 입력값, 원하는 출력값 및 승인 기준을 제공하십시오. 호출 구문 및 사용 가능한 도구는 호스트에 따라 다르므로 이 사이트는 범용 설치 명령을 제공하지 않습니다.
- 원본 워크플로를 임시 프로젝트 또는 복사본에서 테스트해 보세요. 파일, 원격 서비스 또는 유료 리소스를 변경하는 작업은 허용하기 전에 검토하십시오.
- 출력 결과를 원본 품질 검사 및 자체 요구 사항에 맞춰 검증하십시오. 트리거가 성공적으로 작동했거나 저장소의 별점 수가 높다고 해서 반드시 올바른 결과가 나오는 것은 아닙니다.
원문에서 더 자세한 내용을 읽어보세요.
- 이미지 선택 제공
- 제0규칙: 포옹하는 얼굴 이미지가 항상 승리한다
- 이미지 URI는 어디에서 오는가?
- 빠른 결정
- 재순위 결정 도구: TEI 또는 vLLM?
- 워크플로우
- TEI: 올바른 변형을 선택하세요
- vLLM AMI 요구사항
- vLLM DLC(HuggingFace vLLM 및 AWS vLLM) 구성
- HuggingFace LLM 배포 시 필수 사항입니다.
- 튜닝(선택 사항)
- TEI 구성
- CUDA/인스턴스 호환성
- VPC/NAT 게이트웨이 문제
- 카탈로그 페이지가 표시되지 않거나, 오래되었거나, 잘못된 경우
- 알려진 오류 이미지 (최종 확인일: 7월)2026)
- 첫 부팅 시 허브 다운로드 시간
관련 기술
번역 및 범위
이 독서 안내서는 고정된 상류 지역에서 발췌한 구절들을 소개합니다.SKILL.md본 번역은 보조 번역이며, 완전한 설명서 또는 호환성 테스트를 보장하는 것은 아닙니다. 사용 전에 원본 및 참조 파일을 반드시 읽어 주십시오.
이 소개글은 아래 고정된 버전을 참조하며, 현재 저장소 활동 및 수집 시간은 별도로 표시됩니다.
- 고정된 소스
- 원문을 읽어보세요 ↗
- 출처 검색됨
- 소스 커밋
fabc634a893f62ad5c2039830397efa35fa62715- 출처 SHA-256
6af6adfe1cdcf7bcc061ee11e1e2cf88bae9fbb08bf79d16945ce748839c1d76