Guide de lecture localisé
hf-memObjectif, utilisation et source
L'interface de ligne de commande Hugging Face permet d'estimer la mémoire nécessaire pour charger les Safetensors ou les poids du modèle GGUF en vue de l'inférence depuis le hub Hugging Face.
Source récupérée:
- Dépôt source
- huggingface/skills
- SKILL.md
skills/hf-mem/SKILL.md- Étoiles du dépôt
- 11,241
- Mise à jour du dépôt
- 2026-10-30
- Catégories de capacités
- Autres
- Dernière collecte
Licence : Apache-2.0
Les extraits de flux de travail sont des outils de lecture et non des instructions exécutables de Codez. Aucune compétence tierce n'a été utilisée pour générer cette page.
Les passages relatifs à l'objectif et au flux de travail ci-dessous constituent le contenu original, organisé et traduit pour la lecture. Ils sont distincts de l'analyse éditoriale de Codez, qui est étiquetée séparément.
À quoi sert cette compétence ?
L'interface de ligne de commande Hugging Face permet d'estimer la mémoire nécessaire pour charger les Safetensors ou les poids du modèle GGUF en vue de l'inférence depuis le hub Hugging Face.
Comment fonctionne le flux de travail en amont
Comment courir ?
Courir avec--model-idpointant vers le dépôt Hugging Face Hub qui vérifiera s'il contient des Safetensors (viamodel.safetensors,model.safetensors.index.jsonsi fragmenté, oumodel_index.json(pour les diffuseurs) ou les poids du modèle GGUF. Si le dépôt contient des poids de modèle GGUF avec plusieurs précisions/quantifications, les estimations seront effectuées fichier par fichier, tandis que pour l'inférence, vous ne chargerez pas tous ces poids, mais seulement une seule précision. Cela étant dit, pour GGUF, vous devrez peut-être fournir--gguf-filepour cibler le fichier spécifique (ou le chemin d'accès s'il est partitionné) que vous souhaitez exécuter. De plus,hf-memest livré avec un--experimentalindicateur qui calculera également les besoins en mémoire cache KV, utile pour les modèles de langage de grande taille, ce qui signifie qu'il s'applique aux LLM (...ForCausalLM), VLM (...ForConditionalGeneration), et les modèles GGUF. Pour les Safetensors, utiliser comme :
Aperçu
hf_memestime la mémoire requise pour l'inférence, y compris les poids du modèle et un cache KV optionnel, pour Safetensors et GGUF pour les modèles sur le Hugging Face Hub en utilisant des requêtes HTTP Range, c'est-à-dire sans télécharger ni charger de poids localement.
Quand l'utiliser ?
L'utilisateur demande la quantité de VRAM ou de mémoire nécessaire à l'exécution d'un modèle. Il souhaite savoir si le modèle est compatible avec son GPU ou une instance donnée. L'utilisateur fait référence à l'identifiant ou à l'URL d'un modèle Hugging Face et s'interroge sur les exigences d'inférence.
passage en amont · L8 ↗uvx hf-mem --model-id <model-id> --json-outputConfiguration requise
Quelles sont les exigences ?
uvinstallé (pouruvx)HF_TOKENvariable d'environnement ou--hf-tokendrapeau (pour les modèles à accès restreint ou privés uniquement)
Limites et contrôles de qualité
Aucun passage de limite distinct n'a été sélectionné dans ce fichier. Cela ne signifie pas que la compétence est sûre pour toutes les entrées ou tous les environnements. Consultez le code source complet et validez vos résultats.
Commencez par un essai sans danger
- Vérifiez l'hôte pris en charge et les instructions d'installation du dépôt. Conservez le répertoire Skill ainsi que ses scripts, ressources et documentation référencés ;SKILL.mdSeul, il peut omettre les dépendances.
- Indiquez à l'agent vos paramètres d'entrée réels, le résultat souhaité et les critères d'acceptation. La syntaxe d'appel et les outils disponibles dépendent du système hôte ; ce site ne propose pas de commande d'installation universelle.
- Testez le flux de travail source dans un projet temporaire ou sur une copie. Avant d'autoriser les opérations qui modifient des fichiers, des services distants ou des ressources facturables, examinez-les attentivement.
- Vérifiez la conformité du résultat avec les contrôles qualité sources et vos propres exigences. Un déclenchement réussi ou un nombre élevé d'étoiles dans le dépôt ne garantissent pas un résultat correct.
Pour en savoir plus, consultez la source.
Compétences connexes
Traduction et étendue
Ce guide de lecture sélectionne des passages de l'amont épingléSKILL.mdCette traduction est assistée. Elle ne constitue pas un manuel complet et ne garantit pas une compatibilité testée. Veuillez lire le document original et les fichiers auxquels il fait référence avant utilisation.
Cette introduction fait référence à la version épinglée ci-dessous ; l’activité actuelle du dépôt et la durée de la collecte sont indiquées séparément.
- Source épinglée
- Lire l'original ↗
- Source récupérée
- Commit source
fabc634a893f62ad5c2039830397efa35fa62715- Source SHA-256
ee99f9d97e084aa61a80eaec4e6de2265341e71256d918d48fb87a2ac01ce99f