Guide de lecture localisé
huggingface-community-evalsObjectif, utilisation et source
Effectuez des évaluations des modèles Hugging Face Hub à l'aide d'inspect-ai et de lighteval sur votre matériel local. Utilisez cette fonction pour la sélection du backend, les évaluations GPU locales et le choix entre vLLM, Transformers et accelerate. Ne convient pas à l'orchestration des tâches HF, aux demandes de fusion de modèles, à la publication des résultats d'évaluation (.eval_results) ni à l'automatisation des évaluations communautaires.
Source récupérée:
- Dépôt source
- huggingface/skills
- SKILL.md
skills/huggingface-community-evals/SKILL.md- Étoiles du dépôt
- 11,241
- Mise à jour du dépôt
- 2026-10-30
- Catégories de capacités
- Automatisation
- Dernière collecte
Licence : Apache-2.0
Les extraits de flux de travail sont des outils de lecture et non des instructions exécutables de Codez. Aucune compétence tierce n'a été utilisée pour générer cette page.
Les passages relatifs à l'objectif et au flux de travail ci-dessous constituent le contenu original, organisé et traduit pour la lecture. Ils sont distincts de l'analyse éditoriale de Codez, qui est étiquetée séparément.
À quoi sert cette compétence ?
Effectuez des évaluations des modèles Hugging Face Hub à l'aide d'inspect-ai et de lighteval sur votre matériel local. Utilisez cette fonction pour la sélection du backend, les évaluations GPU locales et le choix entre vLLM, Transformers et accelerate. Ne convient pas à l'orchestration des tâches HF, aux demandes de fusion de modèles, à la publication des résultats d'évaluation (.eval_results) ni à l'automatisation des évaluations communautaires.
Comment fonctionne le flux de travail en amont
Flux de travail principal
Choisissez le cadre d'évaluation. Utilisez-le.inspect-ailorsque vous souhaitez un contrôle explicite des tâches et inspecter les flux natifs. Utilisez-le.lightevalLorsque le benchmark est naturellement exprimé sous forme de chaîne de tâches lighteval, notamment pour les tâches de type classement, choisissez le moteur d'inférence.
Aperçu
Cette fonctionnalité permet d'effectuer des évaluations sur des modèles du Hugging Face Hub, sur du matériel local.inspect-aiavec inférence localelightevalavec inférence locale choisissant entrevllm, Transformateurs de visages câlins, etaccelerate
Limite d'exécution à distance
Cette fonctionnalité s'arrête volontairement à l'exécution locale et à la sélection du serveur. Si l'utilisateur souhaite exécuter ces scripts sur Hugging Face Jobs, il peut sélectionner un matériel distant.
passage en amont · L136 ↗Configuration requise
Prérequis
Préféreruv runpour une exécution locale. DéfinirHF_TOKENpourgated/privatemodèles.
uv --version
printenv HF_TOKEN >/dev/null
nvidia-smiLimites et contrôles de qualité
Aucun passage de limite distinct n'a été sélectionné dans ce fichier. Cela ne signifie pas que la compétence est sûre pour toutes les entrées ou tous les environnements. Consultez le code source complet et validez vos résultats.
Commencez par un essai sans danger
- Vérifiez l'hôte pris en charge et les instructions d'installation du dépôt. Conservez le répertoire Skill ainsi que ses scripts, ressources et documentation référencés ;SKILL.mdSeul, il peut omettre les dépendances.
- Indiquez à l'agent vos paramètres d'entrée réels, le résultat souhaité et les critères d'acceptation. La syntaxe d'appel et les outils disponibles dépendent du système hôte ; ce site ne propose pas de commande d'installation universelle.
- Testez le flux de travail source dans un projet temporaire ou sur une copie. Avant d'autoriser les opérations qui modifient des fichiers, des services distants ou des ressources facturables, examinez-les attentivement.
- Vérifiez la conformité du résultat avec les contrôles qualité sources et vos propres exigences. Un déclenchement réussi ou un nombre élevé d'étoiles dans le dépôt ne garantissent pas un résultat correct.
Pour en savoir plus, consultez la source.
Compétences connexes
Traduction et étendue
Ce guide de lecture sélectionne des passages de l'amont épingléSKILL.mdCette traduction est assistée. Elle ne constitue pas un manuel complet et ne garantit pas une compatibilité testée. Veuillez lire le document original et les fichiers auxquels il fait référence avant utilisation.
Cette introduction fait référence à la version épinglée ci-dessous ; l’activité actuelle du dépôt et la durée de la collecte sont indiquées séparément.
- Source épinglée
- Lire l'original ↗
- Source récupérée
- Commit source
fabc634a893f62ad5c2039830397efa35fa62715- Source SHA-256
a97f1c703f55b72427453a76af858237e6392a447fcafa9eeb85f7ac67f0155d