Panduan membaca yang dilokalisasi
hf-cloud-serving-image-selectionTujuan, penggunaan, dan sumber
Pilih kontainer penyajian yang tepat untuk penyebaran model SageMaker dan temukan URI gambar saat ini. Gunakan keterampilan ini setiap kali akan menyebarkan model ke titik akhir SageMaker dan URI gambar perlu dipilih — termasuk ketika pengguna mengatakan "sebarkan LLM ini", "hosting model HuggingFace ini", "sajikan model yang telah disempurnakan ini", "sebarkan model penyematan ini", "hosting perankinger", "sajikan model pengubah kalimat", atau ketika akan memasukkan URI kontainer secara manual dalam kode penyebaran. Kontainer Deep Learning yang dikurasi oleh HuggingFace SELALU lebih disukai: HuggingFace vLLM (LLM dan perankinger generatif), HuggingFace vLLM-Omni (multimodal), TEI (embeddings/cross-encoder(rerankers), HF Inference Toolkit (transformer lainnya). Gambar generik (AWS vLLM, DJL-LMI, SGLang) hanya digunakan jika tidak ada gambar HuggingFace yang kompatibel — tidak pernah hanya karena memiliki versi yang lebih baru. Jangan pernah memasukkan URI kontainer secara langsung dari memori dan jangan pernah menggunakan TGI sebagai default. Mencegah kegagalan gambar usang dan URI wilayah yang salah.
Sumber diambil:
- Repositori sumber
- huggingface/skills
- SKILL.md
skills/hf-cloud-serving-image-selection/SKILL.md- Bintang Repositori
- 11,241
- Pembaruan terakhir repositori
- 2026-10-30
- Klasifikasi Kemampuan
- layanan cloud
- Waktu pengumpulan terbaru
Lisensi: Apache-2.0
Cuplikan alur kerja adalah alat bantu baca, bukan instruksi yang dapat dieksekusi dari Codez. Tidak ada Skill pihak ketiga yang dijalankan untuk menghasilkan halaman ini.
Bagian yang menjelaskan tujuan dan alur kerja di bawah ini merupakan materi dari hulu, yang telah diorganisir dan diterjemahkan untuk dibaca. Bagian ini berbeda dari analisis editorial Codez yang diberi label secara terpisah.
Apa yang dilakukan oleh Skill ini?
Pilih kontainer penyajian yang tepat untuk penyebaran model SageMaker dan temukan URI gambar saat ini. Gunakan keterampilan ini setiap kali akan menyebarkan model ke titik akhir SageMaker dan URI gambar perlu dipilih — termasuk ketika pengguna mengatakan "sebarkan LLM ini", "hosting model HuggingFace ini", "sajikan model yang telah disempurnakan ini", "sebarkan model penyematan ini", "hosting perankinger", "sajikan model pengubah kalimat", atau ketika akan memasukkan URI kontainer secara manual dalam kode penyebaran. Kontainer Deep Learning yang dikurasi oleh HuggingFace SELALU lebih disukai: HuggingFace vLLM (LLM dan perankinger generatif), HuggingFace vLLM-Omni (multimodal), TEI (embeddings/cross-encoder(rerankers), HF Inference Toolkit (transformer lainnya). Gambar generik (AWS vLLM, DJL-LMI, SGLang) hanya digunakan jika tidak ada gambar HuggingFace yang kompatibel — tidak pernah hanya karena memiliki versi yang lebih baru. Jangan pernah memasukkan URI kontainer secara langsung dari memori dan jangan pernah menggunakan TGI sebagai default. Mencegah kegagalan gambar usang dan URI wilayah yang salah.
Bagaimana alur kerja hulu bekerja
Alur kerja
Untuk setiap famili: baca URI dari halaman katalog AWS. Temukan bagian untuk famili yang tepat (misalnya "HuggingFace vLLM Inference" untuk LLM HuggingFace, "HuggingFace Text Embeddings Inference" untuk embedding). Pilih baris terbaru yang ditandai.SageMakeruntuk kolom platform — terbaru dalam keluarga tersebut. Jangan beralih ke bagian keluarga lain hanya karena mencantumkan versi mesin yang lebih tinggi (lihat "Aturan nol") Ganti with the user's region (from hf-cloud-aws-context-discovery)
Pemilihan Gambar Penyajian
Kontainer penyajian adalah satu-satunya hal yang paling mungkin menyebabkan kegagalan penerapan SageMaker yang "tampak benar di atas kertas". Kontainer yang salah, tag yang kedaluwarsa, atau AMI yang salah — semuanya menghasilkan masalah yang sama dan tidak transparan.Failed to pass health checkkesalahan.
Aturan nol: Gambar HuggingFace selalu menang
Ketika keluarga yang dikurasi oleh HuggingFace (huggingface-vllm,huggingface-vllm-omni,huggingface-sglang,tei,huggingface-pytorch-inference) dan keluarga generik (vllm,vllm-omni,sglang,djl-inference) dapat digunakan sebagai model, yang HuggingFace wajib digunakan, bukan hanya disarankan. Satu-satunya alasan yang valid untuk menggunakan gambar generik: Ketidakcocokan yang terverifikasi — model membutuhkanarchitecture/modality/featureTidak ada dukungan tag HuggingFace yang tersedia, dikonfirmasi terhadap katalog (bukan asumsi).
curl -s https://huggingface.co/<model-id>/raw/main/config.json
# "architectures": ["Qwen3ForCausalLM"] → vLLM
# "architectures": ["XLMRobertaForSequenceClassification"] → TEIPersyaratan dan pengaturan
Persyaratan vLLM AMI
Gambar DLC vLLM dengan CUDA13atau lebih tinggi (standar saat ini:cu130) memerlukan pengaturanInferenceAmiVersion=al2-ami-sagemaker-inference-gpu-3-1pada ProductionVariant. Ini berlaku sama untukhuggingface-vllmDanhuggingface-vllm-omni(dilapisi pada cu yang sama)130basis) dan ke AWSvllmrepo. Tanpa itu, kontainer akan mati saat startup tanpa log CloudWatch yang pernah dibuat. Kegagalan tersebut tampak identik dengan banyak hal lain (masalah tingkat akun, kuota, jaringan) dan secara rutin mengarahkan orang ke jalur diagnostik yang salah. Aturan praktis: jika tag vLLM yang Anda pilih berisicu130atau nanti, lewati--inference-ami-version al2-ami-sagemaker-inference-gpu-3-1kedeploy.py. Jika versi CUDA yang akan datang (cu140+) memerlukan AMI yang berbeda, tambahkan baris ke tabel saat AWS menerbitkan image baru.
Kompatibilitas CUDA / instance
Penting dan mudah salah: Driver berasal dari AMI host, bukan dari keluarga instance — jadi meneruskan gpu-3-1AMI (yang vLLM cu)130(gambar tetap diperlukan) juga membuatml.g5.*layak untuk cu129+ gambar.
Batasan dan pemeriksaan kualitas
Tidak ada bagian batasan terpisah yang dipilih dari file ini. Ini tidak berarti Keterampilan ini aman untuk setiap input atau lingkungan. Tinjau sumber lengkapnya dan validasi hasil Anda sendiri.
Mulailah dengan uji coba yang aman.
- Periksa host yang didukung dan petunjuk instalasi repositori. Simpan direktori Skill beserta skrip, aset, dan dokumentasi yang dirujuk di dalamnya secara bersamaan;SKILL.mdsendirian dapat menghilangkan dependensi.
- Berikan input sebenarnya, output yang diinginkan, dan kriteria penerimaan kepada agen. Sintaks pemanggilan dan alat yang tersedia bergantung pada host; situs ini tidak mengasumsikan perintah instalasi universal.
- Cobalah alur kerja sumber dalam proyek sementara atau pada salinannya. Tinjau operasi yang mengubah file, layanan jarak jauh, atau sumber daya yang dapat ditagih sebelum mengizinkannya.
- Validasi output terhadap pemeriksaan kualitas sumber dan persyaratan Anda sendiri. Pemicu yang berhasil atau jumlah bintang repositori yang tinggi tidak menjamin hasil yang benar.
Baca selengkapnya di sumber aslinya.
- Pemilihan Gambar Penyajian
- Aturan nol: Gambar HuggingFace selalu menang
- Dari mana URI gambar berasal?
- Keputusan cepat
- Pemeringkat ulang: TEI atau vLLM?
- Alur kerja
- TEI: pilih varian yang tepat
- Persyaratan vLLM AMI
- Mengkonfigurasi DLC vLLM (HuggingFace vLLM dan AWS vLLM)
- Diperlukan untuk setiap penerapan HuggingFace LLM
- Penyetelan (opsional)
- Mengonfigurasi TEI
- Kompatibilitas CUDA / instance
- Masalah gateway VPC/NAT
- Ketika halaman katalog tidak dapat ditampilkan, sudah usang, atau salah.
- Gambar yang diketahui rusak (terakhir diperiksa Juli)2026)
- Waktu pengunduhan Hub pada saat booting pertama kali
Keterampilan Terkait
Terjemahan dan ruang lingkup
Panduan membaca ini memilih bagian-bagian dari teks yang telah disematkan di bagian atas.SKILL.mdTerjemahan ini dibantu. Ini bukan manual lengkap atau klaim kompatibilitas yang telah diuji. Bacalah dokumen asli dan file referensinya sebelum digunakan.
Pendahuluan ini mengacu pada versi yang disematkan di bawah ini; aktivitas repositori saat ini dan waktu pengumpulan ditampilkan secara terpisah.
- Sumber yang disematkan
- Baca teks aslinya ↗
- Sumber diambil
- Komit sumber
fabc634a893f62ad5c2039830397efa35fa62715- Sumber SHA-256
6af6adfe1cdcf7bcc061ee11e1e2cf88bae9fbb08bf79d16945ce748839c1d76