Локализованное руководство по чтению
hf-cloud-serving-image-selectionНазначение, использование и источник
Выберите подходящий контейнер для развертывания модели SageMaker и найдите его текущий URI изображения. Используйте этот навык всякий раз, когда собираетесь развернуть модель на конечной точке SageMaker и необходимо выбрать URI изображения — в том числе, когда пользователь говорит «развернуть эту LLM», «разместить эту модель HuggingFace», «предоставить доступ к этой доработанной модели», «развернуть эту модель встраивания», «разместить реранжировщик», «предоставить доступ к модели преобразования предложений» или когда собирается жестко задать URI контейнера в коде развертывания. Всегда отдавайте предпочтение контейнерам глубокого обучения, отобранным HuggingFace: HuggingFace vLLM (LLM и генеративные реранжировщики), HuggingFace vLLM-Omni (мультимодальный), TEI (embeddings/cross-encoder(переранжировщики), HF Inference Toolkit (другие трансформеры). Универсальные образы (AWS vLLM, DJL-LMI, SGLang) используются только в том случае, если ни один образ HuggingFace не совместим — никогда просто потому, что у них есть более новая версия. Никогда не задавайте URI контейнера из памяти и никогда не используйте TGI по умолчанию. Это предотвращает ошибки, связанные с устаревшими образами и неправильными URI регионов.
Источник получен:
- Репозиторий-источник
- huggingface/skills
- SKILL.md
skills/hf-cloud-serving-image-selection/SKILL.md- Звёзды репозитория
- 11,241
- Последнее обновление репозитория
- 2026-10-30
- Категории Skills
- Облачные сервисы
- Время последнего сбора
Лицензия: Apache-2.0
Приведенные фрагменты описания рабочих процессов являются вспомогательными средствами для чтения, а не исполняемыми инструкциями от Codez. Для создания этой страницы не использовались сторонние инструменты.
Приведённые ниже фрагменты, описывающие цели и рабочие процессы, представляют собой исходный материал, систематизированный и переведённый для удобства чтения. Они отличаются от отдельно обозначенного редакционного анализа Codez.
Что делает этот навык
Выберите подходящий контейнер для развертывания модели SageMaker и найдите его текущий URI изображения. Используйте этот навык всякий раз, когда собираетесь развернуть модель на конечной точке SageMaker и необходимо выбрать URI изображения — в том числе, когда пользователь говорит «развернуть эту LLM», «разместить эту модель HuggingFace», «предоставить доступ к этой доработанной модели», «развернуть эту модель встраивания», «разместить реранжировщик», «предоставить доступ к модели преобразования предложений» или когда собирается жестко задать URI контейнера в коде развертывания. Всегда отдавайте предпочтение контейнерам глубокого обучения, отобранным HuggingFace: HuggingFace vLLM (LLM и генеративные реранжировщики), HuggingFace vLLM-Omni (мультимодальный), TEI (embeddings/cross-encoder(переранжировщики), HF Inference Toolkit (другие трансформеры). Универсальные образы (AWS vLLM, DJL-LMI, SGLang) используются только в том случае, если ни один образ HuggingFace не совместим — никогда просто потому, что у них есть более новая версия. Никогда не задавайте URI контейнера из памяти и никогда не используйте TGI по умолчанию. Это предотвращает ошибки, связанные с устаревшими образами и неправильными URI регионов.
Как работает рабочий процесс на вышестоящем уровне
Рабочий процесс
Для каждого семейства: прочитайте URI со страницы каталога AWS. Найдите раздел для нужного семейства (например, "HuggingFace vLLM Inference" для LLM-модулей HuggingFace, "HuggingFace Text Embeddings Inference" для эмбеддингов). Выберите самую новую строку, отмеченную соответствующим образом.SageMakerВ столбце «Платформа» — самые новые в этом семействе. Не переключайтесь на раздел другого семейства только потому, что там указана более высокая версия двигателя (см. «Правило ноль»). Замените with the user's region (from hf-cloud-aws-context-discovery)
Выбор изображения для подачи
Контейнер для развертывания — это то, что с наибольшей вероятностью может нарушить развертывание SageMaker, которое «выглядело правильно на бумаге». Неправильный контейнер, устаревший тег или неправильный AMI — все это приводит к одному и тому же неясному результату.Failed to pass health checkошибка.
Правило ноль: изображения HuggingFace всегда побеждают.
Когда обе семьи, отобранные HuggingFace (huggingface-vllm,huggingface-vllm-omni,huggingface-sglang,tei,huggingface-pytorch-inference) и родовое семейство (vllm,vllm-omni,sglang,djl-inference) может обслуживать модель, HuggingFace является обязательным, а не предпочтительным вариантом. Единственные веские причины использовать универсальное изображение: подтвержденная несовместимость — модели требуетсяarchitecture/modality/featureНет доступных тегов для поддержки HuggingFace, подтверждено по каталогу (не предполагается).
curl -s https://huggingface.co/<model-id>/raw/main/config.json
# "architectures": ["Qwen3ForCausalLM"] → vLLM
# "architectures": ["XLMRobertaForSequenceClassification"] → TEIТребования и настройка
Требования vLLM AMI
Образы DLC vLLM с поддержкой CUDA13или выше (текущее значение по умолчанию:cu130) требуется настройкаInferenceAmiVersion=al2-ami-sagemaker-inference-gpu-3-1в варианте ProductionVariant. Это в равной степени относится и кhuggingface-vllmиhuggingface-vllm-omni(наслаивается на том же слое)130база) и к AWSvllmрепозиторий. Без него контейнер завершает работу при запуске, и журналы CloudWatch так и не создаются. Сбой выглядит идентично многим другим проблемам (проблемы на уровне учетной записи, квоты, сеть) и обычно направляет людей по неверным путям диагностики. Общее правило: если выбранный вами тег vLLM содержитcu130или позже, пас--inference-ami-version al2-ami-sagemaker-inference-gpu-3-1кdeploy.py. Если будущая версия CUDA (cu140+) Требуется другой образ AMI; добавьте строку в таблицу, когда AWS опубликует новый образ.
Совместимость с CUDA/экземплярами
Критически важный и легко допускающий ошибку момент: драйвер поступает из образа AMI хоста, а не из семейства экземпляров — поэтому передача драйвера графического процессора...3-1AMI (который vLLM cu)130изображения в любом случае требуют) также делаетml.g5.*жизнеспособный для меди129+ изображения.
Ограничения и проверки качества
Из этого файла не был выбран отдельный фрагмент с ограничениями. Это не означает, что навык безопасен для любых входных данных или сред. Проверьте полный исходный код и подтвердите свой собственный результат.
Начните с безопасного пробного периода.
- Проверьте поддерживаемый хост и инструкции по установке репозитория. Храните каталог Skill, а также связанные с ним скрипты, ресурсы и документацию вместе;SKILL.mdВ одиночку можно опустить зависимости.
- Предоставьте агенту ваши реальные входные данные, желаемый результат и критерии приемки. Синтаксис вызова и доступные инструменты зависят от хоста; данный сайт не предполагает универсальной команды установки.
- Попробуйте запустить исходный рабочий процесс в тестовом проекте или в его копии. Перед тем как разрешить операции, изменяющие файлы, удаленные сервисы или оплачиваемые ресурсы, проверьте их.
- Проверьте выходные данные на соответствие исходным проверкам качества и вашим собственным требованиям. Успешный запуск или большое количество звезд в репозитории не гарантируют корректного результата.
Подробнее читайте в источнике.
- Выбор изображения для подачи
- Правило ноль: изображения HuggingFace всегда побеждают.
- Откуда берутся URI изображений
- Быстрое решение
- Rerankers: TEI или vLLM?
- Рабочий процесс
- TEI: выберите правильный вариант
- Требования vLLM AMI
- Настройка DLC vLLM (HuggingFace vLLM и AWS vLLM)
- Обязательно для каждого развертывания HuggingFace LLM.
- Настройка (по желанию)
- Настройка TEI
- Совместимость с CUDA/экземплярами
- Проблема с шлюзом VPC/NAT
- Когда страница каталога не отображается, устарела или содержит ошибки
- Известные неисправные изображения (последняя проверка: июль)2026)
- Время загрузки Hub при первой загрузке
Смежные навыки
Перевод и сфера применения
В этом руководстве по чтению представлены избранные отрывки из закрепленного текста выше по течению.SKILL.mdПеревод выполнен с помощью переводчика. Это не полное руководство и не гарантия проверенной совместимости. Перед использованием ознакомьтесь с оригиналом и указанными в нем файлами.
Данное введение относится к закрепленной ниже версии; текущая активность в репозитории и время сбора данных отображаются отдельно.
- Закрепленный источник
- Прочитайте оригинал ↗
- Источник получен
- Исходный коммит
fabc634a893f62ad5c2039830397efa35fa62715- Исходный SHA-256
6af6adfe1cdcf7bcc061ee11e1e2cf88bae9fbb08bf79d16945ce748839c1d76