Guide de lecture localisé
huggingface-local-modelsObjectif, utilisation et source
Utilisez ce guide pour sélectionner les modèles à exécuter localement avec llama.cpp et GGUF sur CPU, Mac Metal, CUDA ou ROCm. Il couvre la recherche de fichiers GGUF, la sélection des quantitatifs, l'exécution des serveurs, la recherche précise de fichiers GGUF, la conversion et le déploiement local compatible avec OpenAI.
Source récupérée:
- Dépôt source
- huggingface/skills
- SKILL.md
skills/huggingface-local-models/SKILL.md- Étoiles du dépôt
- 11,241
- Mise à jour du dépôt
- 2026-10-30
- Catégories de capacités
- Autres
- Dernière collecte
Licence : Apache-2.0
Les extraits de flux de travail sont des outils de lecture et non des instructions exécutables de Codez. Aucune compétence tierce n'a été utilisée pour générer cette page.
Les passages relatifs à l'objectif et au flux de travail ci-dessous constituent le contenu original, organisé et traduit pour la lecture. Ils sont distincts de l'analyse éditoriale de Codez, qui est étiquetée séparément.
À quoi sert cette compétence ?
Utilisez ce guide pour sélectionner les modèles à exécuter localement avec llama.cpp et GGUF sur CPU, Mac Metal, CUDA ou ROCm. Il couvre la recherche de fichiers GGUF, la sélection des quantitatifs, l'exécution des serveurs, la recherche précise de fichiers GGUF, la conversion et le déploiement local compatible avec OpenAI.
Comment fonctionne le flux de travail en amont
Flux de travail par défaut
Rechercher dans le Hub avecapps=llama.cppPrivilégiez l'extrait de code HF local-app exact et la recommandation quantitative lorsqu'ils sont visibles. Confirmez la valeur exacte..ggufnoms de fichiers avechttps://huggingface.co/api/models//tree/main?recursive=trueLancer avecllama-cli -hf :oullama-server -hf :.
Mannequins locaux à visage câlin
Recherchez sur le Hugging Face Hub les dépôts GGUF compatibles avec llama.cpp, choisissez la quantification appropriée et lancez le modèle avecllama-clioullama-server.
Choix quantitatif
Préférez la quantité exacte que HF indique comme compatible sur le?local-app=llama.cpppage. Conservez les étiquettes natives du dépôt telles queUD-Q4_K_Mau lieu de les normaliser.
brew install llama.cpp
winget install llama.cppConfiguration requise
Aucun extrait de configuration n'a été sélectionné dans ce fichier. Cela ne signifie pas que la compétence est sans dépendances. Consultez les instructions de configuration du dépôt et les fichiers référencés.
Limites et contrôles de qualité
Aucun passage de limite distinct n'a été sélectionné dans ce fichier. Cela ne signifie pas que la compétence est sûre pour toutes les entrées ou tous les environnements. Consultez le code source complet et validez vos résultats.
Commencez par un essai sans danger
- Vérifiez l'hôte pris en charge et les instructions d'installation du dépôt. Conservez le répertoire Skill ainsi que ses scripts, ressources et documentation référencés ;SKILL.mdSeul, il peut omettre les dépendances.
- Indiquez à l'agent vos paramètres d'entrée réels, le résultat souhaité et les critères d'acceptation. La syntaxe d'appel et les outils disponibles dépendent du système hôte ; ce site ne propose pas de commande d'installation universelle.
- Testez le flux de travail source dans un projet temporaire ou sur une copie. Avant d'autoriser les opérations qui modifient des fichiers, des services distants ou des ressources facturables, examinez-les attentivement.
- Vérifiez la conformité du résultat avec les contrôles qualité sources et vos propres exigences. Un déclenchement réussi ou un nombre élevé d'étoiles dans le dépôt ne garantissent pas un résultat correct.
Pour en savoir plus, consultez la source.
Compétences connexes
Traduction et étendue
Ce guide de lecture sélectionne des passages de l'amont épingléSKILL.mdCette traduction est assistée. Elle ne constitue pas un manuel complet et ne garantit pas une compatibilité testée. Veuillez lire le document original et les fichiers auxquels il fait référence avant utilisation.
Cette introduction fait référence à la version épinglée ci-dessous ; l’activité actuelle du dépôt et la durée de la collecte sont indiquées séparément.
- Source épinglée
- Lire l'original ↗
- Source récupérée
- Commit source
fabc634a893f62ad5c2039830397efa35fa62715- Source SHA-256
814640db1d5f2f274aec09d66b3589ed5a0fdcfaf536afd508b1d757dcae1534