Skill 多語言閱讀指南
hf-cloud-serving-image-selection用途、用法與原始來源
為 SageMaker 模型部署選擇合適的服務容器，並尋找其目前鏡像 URI。每當需要將模型部署到 SageMaker 端點並選擇鏡像 URI 時，都應使用此技能——包括使用者指定「部署此 LLM」、「託管此 HuggingFace 模型」、「提供此微調模型」、「部署此嵌入模型」、「託管重排序器」、「提供句子轉換器模型」等情況，或需要在部署程式碼中硬容器。始終優先選擇 HuggingFace 精選的深度學習容器：HuggingFace vLLM（LLM 和生成式重新排序器）、HuggingFace vLLM-Omni（多模態）、TEI（embeddings/cross-encoder重排序器），HF推理工具包（其他轉換器）。只有在沒有相容的HuggingFace鏡像時才使用通用鏡像（AWS vLLM、DJL-LMI、SGLang），絕不會僅僅因為它們版本更新就使用。切勿從記憶體中硬編碼容器URI，也切勿預設使用TGI。這可以防止鏡像過時和URI區域錯誤的情況。
原文擷取時間:
- 來源儲存庫
- huggingface/skills
- SKILL.md
skills/hf-cloud-serving-image-selection/SKILL.md- 儲存庫 Star
- 11,241
- 儲存庫最近更新
- 2026-10-30
- 能力分類
- 雲端服務
- 最近採集時間
授權：Apache-2.0
流程片段用來協助閱讀上游說明。本頁沒有執行第三方 Skill，不屬於實測評測。
下面的用途與操作片段來自上游文件，由本站整理並翻譯，和另行標示的 Codez 編輯分析分開呈現。
這個 Skill 能做什麼
為 SageMaker 模型部署選擇合適的服務容器，並尋找其目前鏡像 URI。每當需要將模型部署到 SageMaker 端點並選擇鏡像 URI 時，都應使用此技能——包括使用者指定「部署此 LLM」、「託管此 HuggingFace 模型」、「提供此微調模型」、「部署此嵌入模型」、「託管重排序器」、「提供句子轉換器模型」等情況，或需要在部署程式碼中硬容器。始終優先選擇 HuggingFace 精選的深度學習容器：HuggingFace vLLM（LLM 和生成式重新排序器）、HuggingFace vLLM-Omni（多模態）、TEI（embeddings/cross-encoder重排序器），HF推理工具包（其他轉換器）。只有在沒有相容的HuggingFace鏡像時才使用通用鏡像（AWS vLLM、DJL-LMI、SGLang），絕不會僅僅因為它們版本更新就使用。切勿從記憶體中硬編碼容器URI，也切勿預設使用TGI。這可以防止鏡像過時和URI區域錯誤的情況。
如何使用：上游操作流程
工作流程
對於每個系列：從 AWS 目錄頁面讀取 URI。找到對應系列的章節（例如，HuggingFace LLM 對應“HuggingFace vLLM Inference”，嵌入對應“HuggingFace Text Embeddings Inference”）。選擇最新標記的行。SageMaker對於平台列，請選擇該系列中最新的平台。不要因為其他系列列出了更高版本的引擎而切換到該系列（請參閱“規則零”）。 with the user's region (from ) hf-cloud-aws-context-discovery)
服務圖像選擇
服務容器是最有可能導致 SageMaker 部署失敗的單一因素，即使部署看起來「紙面上一切正常」。錯誤的容器、過時的標籤或錯誤的 AMI 都會導致同樣的混亂局面。Failed to pass health check錯誤。
規則零：擁抱臉圖永遠勝出
當 HuggingFace 策劃的家庭（huggingface-vllm，huggingface-vllm-omni，huggingface-sglang，tei，huggingface-pytorch-inference）和一個通用家族（vllm，vllm-omni，sglang，djl-inference) 可以作為模型，HuggingFace 模型是必需的，但並非首選。使用通用影像的唯一合理理由：已驗證的不相容性－模型需要一個architecture/modality/feature沒有可用的 HuggingFace 標籤支持，已根據目錄確認（並非假設）。
curl -s https://huggingface.co/<model-id>/raw/main/config.json
# "architectures": ["Qwen3ForCausalLM"] → vLLM
# "architectures": ["XLMRobertaForSequenceClassification"] → TEI環境與相依需求
vLLM AMI 要求
使用 CUDA 的 vLLM DLC 影像13或更高（當前預設值：）cu130需要設定InferenceAmiVersion=al2-ami-sagemaker-inference-gpu-3-1在生產版本上。這同樣適用於huggingface-vllm和huggingface-vllm-omni（層疊在同一銅層上）130基礎）並到 AWSvllm倉庫。如果沒有它，容器會在啟動時崩潰，並且不會產生任何 CloudWatch 日誌。這種故障看起來與其他許多問題（帳戶層級問題、配額問題、網路問題）非常相似，常常會誤導人們走上錯誤的診斷路徑。經驗法則：如果您選擇的 vLLM 標籤包含cu130或者稍後，透過--inference-ami-version al2-ami-sagemaker-inference-gpu-3-1到deploy.py。如果未來的 CUDA 版本（cu140+) 需要不同的 AMI，當 AWS 發布新鏡像時，請在表格中新增一行。
CUDA/實例相容性
關鍵且容易出錯：驅動程式來自主機 AMI，而不是執行個體系列－因此傳遞 GPU 驅動程式時可能會出錯。3-1AMI（其中 vLLM cu）130圖片無論如何都需要）也使ml.g5.*適用於銅129+ 圖片。
限制與結果檢查
本次未從該檔案選出獨立的限制片段，不代表適用於所有輸入或環境。請閱讀完整原文，並自行驗證實際結果。
開始使用前
- 先核對支援的 Agent 宿主和儲存庫安裝說明。保留完整 Skill 目錄及其引用的腳本、資源和文件，只複製 SKILL.md 可能遺漏相依需求。
- 向 Agent 提供實際輸入、預期輸出和驗收標準。呼叫方式與可用工具取決於宿主環境，本站不假定存在通用的安裝指令。
- 先在暫存專案或輸入副本上試用。涉及修改檔案、遠端服務或計費資源的操作，應逐項核對後再授權。
- 依照原文檢查項目和自己的需求驗證輸出。成功觸發或儲存庫 Star 較高，都不能證明結果正確。
繼續閱讀原始文件
相關 Skill
翻譯與介紹範圍
本頁從固定版本的上游 SKILL.md 整理用途與操作片段，譯文使用輔助翻譯。它不是完整手冊，也不代表經過相容性實測；使用前請核對原文及其引用檔案。
介紹依據下方列出的固定版本；目前儲存庫動態和目錄擷取時間分開呈現。
- 固定版本來源
- 閱讀原文 ↗
- 原文擷取時間
- 來源提交版本
fabc634a893f62ad5c2039830397efa35fa62715- 原文 SHA-256
6af6adfe1cdcf7bcc061ee11e1e2cf88bae9fbb08bf79d16945ce748839c1d76