Panduan membaca yang dilokalisasi
hf-cloud-sagemaker-production-defaultsTujuan, penggunaan, dan sumber
Buat endpoint SageMaker (real-time, real-time scale-to-zero, atau async) dengan autoscaling, alarm CloudWatch, dan tagging yang diaktifkan secara default. Gunakan skill ini setiap kali hendak membuat endpoint SageMaker, tulis kode deployment yang memanggilnya.create_endpointatau menyelesaikan penyebaran setelah URI gambar dan peran IAM diketahui. Menyediakandeploy.pyuntuk titik akhir waktu nyata,deploy_ic.pyuntuk titik akhir waktu nyata yang dapat diskalakan hingga nol instance melalui komponen inferensi, dandeploy_async.pyuntuk endpoint asinkron (juga skala-ke-nol). Ini adalah langkah terakhir dalam alur kerja penerapan SageMaker. Jangan pernah menghasilkan file kosong.create_endpointPanggilan tanpa pengaturan default ini — endpoint tanpa penskalaan otomatis atau alarm hanyalah demo, bukan implementasi.
Sumber diambil:
- Repositori sumber
- huggingface/skills
- SKILL.md
skills/hf-cloud-sagemaker-production-defaults/SKILL.md- Bintang Repositori
- 11,241
- Pembaruan terakhir repositori
- 2026-10-30
- Klasifikasi Kemampuan
- layanan cloud
- Waktu pengumpulan terbaru
Lisensi: Apache-2.0
Cuplikan alur kerja adalah alat bantu baca, bukan instruksi yang dapat dieksekusi dari Codez. Tidak ada Skill pihak ketiga yang dijalankan untuk menghasilkan halaman ini.
Bagian yang menjelaskan tujuan dan alur kerja di bawah ini merupakan materi dari hulu, yang telah diorganisir dan diterjemahkan untuk dibaca. Bagian ini berbeda dari analisis editorial Codez yang diberi label secara terpisah.
Apa yang dilakukan oleh Skill ini?
Buat endpoint SageMaker (real-time, real-time scale-to-zero, atau async) dengan autoscaling, alarm CloudWatch, dan tagging yang diaktifkan secara default. Gunakan skill ini setiap kali hendak membuat endpoint SageMaker, tulis kode deployment yang memanggilnya.create_endpointatau menyelesaikan penyebaran setelah URI gambar dan peran IAM diketahui. Menyediakandeploy.pyuntuk titik akhir waktu nyata,deploy_ic.pyuntuk titik akhir waktu nyata yang dapat diskalakan hingga nol instance melalui komponen inferensi, dandeploy_async.pyuntuk endpoint asinkron (juga skala-ke-nol). Ini adalah langkah terakhir dalam alur kerja penerapan SageMaker. Jangan pernah menghasilkan file kosong.create_endpointPanggilan tanpa pengaturan default ini — endpoint tanpa penskalaan otomatis atau alarm hanyalah demo, bukan implementasi.
Bagaimana alur kerja hulu bekerja
Pengaturan Default Produksi SageMaker
Perbedaan antara endpoint demo dan endpoint yang dapat Anda biarkan berjalan adalah: endpoint demo dapat diskalakan sesuai dengan trafik, memberi tahu Anda saat terjadi kesalahan, dan Anda dapat melakukan debug nanti. Skill ini menjadikan ketiga hal tersebut sebagai fitur default, bukan fitur tambahan opsional. Pada saat skill ini dijalankan, perencana telah memilih endpoint real-time, IAM memiliki peran yang dapat digunakan, dan pemilihan image telah menyelesaikan URI kontainer + versi AMI. Skill ini mengubah hal-hal tersebut menjadi deployment yang sebenarnya.
Jalur hulu · L6 ↗Apa yang tercipta
Untuk setiap endpoint, skill ini membuat hal-hal berikut sebagai satu kesatuan: Model SageMaker — image + variabel lingkungan + peran eksekusi + S3artefak
Jalur hulu · L12 ↗Menjalankan penyebaran
Untuk LLM generasi teks (vLLM), pertama-tama kemas snapshot model yang disematkan sebagai SageMaker.model.tar.gzartefak dan mengunggahnya ke S yang dikontrol akun.3ember. SageMaker mengekstraknya di bawah/opt/ml/model, sehingga deployment tidak mengambil atau mengeksekusi kode repository saat runtime: Untuk model embedding (TEI, seringkali pada CPU):
python scripts/deploy.py \
--model-name qwen3-medical \
--image-uri "$IMAGE_URI" \
--inference-ami-version "$AMI" \
--role-arn "$ROLE_ARN" \
--model-s3-uri "s3://<your-model-bucket>/qwen3-medical/model.tar.gz" \
--instance-type ml.g5.xlarge \
--region "$REGION" \
--env SM_VLLM_MODEL=/opt/ml/model \
--env SM_VLLM_HOST=0.0.0.0 \
--env SM_VLLM_TRUST_REMOTE_CODE=false \
--env SM_VLLM_MAX_MODEL_LEN=4096Persyaratan dan pengaturan
Tidak ada bagian persyaratan singkat yang dipilih dari file ini. Ini tidak berarti Skill tersebut tidak memiliki dependensi. Periksa petunjuk pengaturan repositori dan file yang dirujuk.
Batasan dan pemeriksaan kualitas
Tidak ada bagian batasan terpisah yang dipilih dari file ini. Ini tidak berarti Keterampilan ini aman untuk setiap input atau lingkungan. Tinjau sumber lengkapnya dan validasi hasil Anda sendiri.
Mulailah dengan uji coba yang aman.
- Periksa host yang didukung dan petunjuk instalasi repositori. Simpan direktori Skill beserta skrip, aset, dan dokumentasi yang dirujuk di dalamnya secara bersamaan;SKILL.mdsendirian dapat menghilangkan dependensi.
- Berikan input sebenarnya, output yang diinginkan, dan kriteria penerimaan kepada agen. Sintaks pemanggilan dan alat yang tersedia bergantung pada host; situs ini tidak mengasumsikan perintah instalasi universal.
- Cobalah alur kerja sumber dalam proyek sementara atau pada salinannya. Tinjau operasi yang mengubah file, layanan jarak jauh, atau sumber daya yang dapat ditagih sebelum mengizinkannya.
- Validasi output terhadap pemeriksaan kualitas sumber dan persyaratan Anda sendiri. Pemicu yang berhasil atau jumlah bintang repositori yang tinggi tidak menjamin hasil yang benar.
Baca selengkapnya di sumber aslinya.
- Pengaturan Default Produksi SageMaker
- Apa yang tercipta
- Menjalankan penyebaran
- InService bukanlah jaminan kesuksesan — lakukan uji coba awal sebelum menyatakan kemenangan.
- Menguji titik akhir waktu nyata
- UTF-8BOM gotcha (Windows)
- Mengaktifkan perankingan ulang generatif (vLLM)
- Memilih URI gambar
- Skalakan ke nol untuk titik akhir waktu nyata
- Bagaimana perbedaannya dengandeploy.py
- Perilaku terukur
- Menentukan ukuran komponen
- Memanggil dan menguji
- Urutan pembongkaran
- Penyebaran inferensi asinkron
- Cara kerja penskalaan ke nol
- Alarm asinkron
- Memanggil endpoint asinkron
- Pengaturan default sekilas
- Target penskalaan otomatis — sesuaikan berdasarkan jenis model
- Pengambilan data + jebakan IAM
- Pembongkaran
- Ketika penyebaran gagal
Keterampilan Terkait
Terjemahan dan ruang lingkup
Panduan membaca ini memilih bagian-bagian dari teks yang telah disematkan di bagian atas.SKILL.mdTerjemahan ini dibantu. Ini bukan manual lengkap atau klaim kompatibilitas yang telah diuji. Bacalah dokumen asli dan file referensinya sebelum digunakan.
Pendahuluan ini mengacu pada versi yang disematkan di bawah ini; aktivitas repositori saat ini dan waktu pengumpulan ditampilkan secara terpisah.
- Sumber yang disematkan
- Baca teks aslinya ↗
- Sumber diambil
- Komit sumber
fabc634a893f62ad5c2039830397efa35fa62715- Sumber SHA-256
6a8c1aff465e548ac4476d56831f864621af83b6a0f54544637601f3ecc44f9e