Skill 多语言阅读指南
hf-cloud-serving-image-selection用途、用法与原始来源
为 SageMaker 模型部署选择合适的服务容器，并查找其当前镜像 URI。每当需要将模型部署到 SageMaker 端点并选择镜像 URI 时，都应使用此技能——包括用户指定“部署此 LLM”、“托管此 HuggingFace 模型”、“提供此微调模型”、“部署此嵌入模型”、“托管重排序器”、“提供句子转换器模型”等情况，或者需要在部署代码中硬编码任何容器 URI 时。始终优先选择 HuggingFace 精选的深度学习容器：HuggingFace vLLM（LLM 和生成式重排序器）、HuggingFace vLLM-Omni（多模态）、TEI（embeddings/cross-encoder重排序器），HF推理工具包（其他转换器）。仅当没有兼容的HuggingFace镜像时才使用通用镜像（AWS vLLM、DJL-LMI、SGLang），绝不会仅仅因为它们版本更新就使用。切勿从内存中硬编码容器URI，也切勿默认使用TGI。这可以防止镜像过时和URI区域错误的情况。
原文采集时间:
- SKILL.md
skills/hf-cloud-serving-image-selection/SKILL.md- 仓库 Star
- 11,241
- 仓库最近更新
- 2026/10/30
- 能力分类
- 云服务
- 最近采集时间
许可：Apache-2.0
流程片段用于帮助阅读上游说明。本页没有执行第三方 Skill，不属于实测评测。
下面的用途和操作片段来自上游文档，由本站整理并翻译，和另行标注的 Codez 编辑分析分开展示。
这个 Skill 能做什么
为 SageMaker 模型部署选择合适的服务容器，并查找其当前镜像 URI。每当需要将模型部署到 SageMaker 端点并选择镜像 URI 时，都应使用此技能——包括用户指定“部署此 LLM”、“托管此 HuggingFace 模型”、“提供此微调模型”、“部署此嵌入模型”、“托管重排序器”、“提供句子转换器模型”等情况，或者需要在部署代码中硬编码任何容器 URI 时。始终优先选择 HuggingFace 精选的深度学习容器：HuggingFace vLLM（LLM 和生成式重排序器）、HuggingFace vLLM-Omni（多模态）、TEI（embeddings/cross-encoder重排序器），HF推理工具包（其他转换器）。仅当没有兼容的HuggingFace镜像时才使用通用镜像（AWS vLLM、DJL-LMI、SGLang），绝不会仅仅因为它们版本更新就使用。切勿从内存中硬编码容器URI，也切勿默认使用TGI。这可以防止镜像过时和URI区域错误的情况。
如何使用：上游操作流程
工作流程
对于每个系列：从 AWS 目录页面读取 URI。找到对应系列的章节（例如，HuggingFace LLM 对应“HuggingFace vLLM Inference”，嵌入对应“HuggingFace Text Embeddings Inference”）。选择最新标记的行。SageMaker对于平台列，请选择该系列中最新的平台。不要因为其他系列列出了更高版本的发动机而切换到该系列（参见“规则零”）。 with the user's region (from ) hf-cloud-aws-context-discovery)
服务图像选择
服务容器是最有可能导致 SageMaker 部署失败的单一因素，即使部署看起来“纸面上一切正常”。错误的容器、过时的标签或错误的 AMI 都会导致同样的混乱局面。Failed to pass health check错误。
规则零：拥抱脸图片永远胜出
当 HuggingFace 策划的家庭（huggingface-vllm，huggingface-vllm-omni，huggingface-sglang，tei，huggingface-pytorch-inference）和一个通用家族（vllm，vllm-omni，sglang，djl-inference) 可以作为模型，HuggingFace 模型是必需的，但并非首选。使用通用图像的唯一合理理由：已验证的不兼容性——模型需要一个architecture/modality/feature没有可用的 HuggingFace 标签支持，已根据目录确认（并非假设）。
curl -s https://huggingface.co/<model-id>/raw/main/config.json
# "architectures": ["Qwen3ForCausalLM"] → vLLM
# "architectures": ["XLMRobertaForSequenceClassification"] → TEI环境与依赖
vLLM AMI 要求
使用 CUDA 的 vLLM DLC 图像13或更高（当前默认值：）cu130需要设置InferenceAmiVersion=al2-ami-sagemaker-inference-gpu-3-1在生产版本上。这同样适用于huggingface-vllm和huggingface-vllm-omni（层叠在同一铜层上）130基础）并到 AWSvllm仓库。如果没有它，容器会在启动时崩溃，并且不会生成任何 CloudWatch 日志。这种故障看起来与其他许多问题（帐户级问题、配额问题、网络问题）非常相似，常常会误导人们走上错误的诊断路径。经验法则：如果您选择的 vLLM 标签包含cu130或者稍后，通过--inference-ami-version al2-ami-sagemaker-inference-gpu-3-1到deploy.py。如果未来的 CUDA 版本（cu140+) 需要不同的 AMI，当 AWS 发布新镜像时，向表中添加一行。
CUDA/实例兼容性
关键且容易出错：驱动程序来自主机 AMI，而不是实例系列——因此传递 GPU 驱动程序时可能会出错。3-1AMI（其中 vLLM cu）130图片无论如何都需要）也使ml.g5.*适用于铜129+ 图片。
限制与结果检查
本次未从该文件选出独立的限制片段，不代表适用于所有输入或环境。请阅读完整原文，并自行验证实际结果。
开始使用前
- 先核对支持的 Agent 宿主和仓库安装说明。保留完整 Skill 目录及其引用的脚本、资源和文档，只复制 SKILL.md 可能漏掉依赖。
- 向 Agent 提供实际输入、期望输出和验收标准。调用方式与可用工具取决于宿主环境，本站不假定存在通用的安装命令。
- 先在临时项目或输入副本上试用。涉及修改文件、远程服务或计费资源的操作，应逐项核对后再授权。
- 按照原文检查项和自己的需求验证输出。成功触发或仓库 Star 较高，都不能证明结果正确。
继续阅读原始文档
相关 Skill
翻译与介绍范围
本页从固定版本的上游 SKILL.md 整理用途与操作片段，译文使用辅助翻译。它不是完整手册，也不代表经过兼容性实测；使用前请核对原文及其引用文件。
介绍依据下方列出的固定版本；当前仓库动态和目录采集时间单独展示。
- 固定版本来源
- 阅读原文 ↗
- 原文采集时间
- 来源提交版本
fabc634a893f62ad5c2039830397efa35fa62715- 原文 SHA-256
6af6adfe1cdcf7bcc061ee11e1e2cf88bae9fbb08bf79d16945ce748839c1d76