Guía de lectura localizada
huggingface-community-evalsFinalidad, uso y origen
Ejecuta evaluaciones para modelos de Hugging Face Hub usando inspect-ai y lighteval en hardware local. Úsalo para la selección de backend, evaluaciones locales de GPU y para elegir entre vLLM, Transformers y accelerate. No apto para la orquestación de trabajos de HF, solicitudes de extracción de tarjetas de modelos, publicación de .eval_results ni automatización de evaluaciones comunitarias.
Fuente recuperada:
- Repositorio de origen
- huggingface/skills
- SKILL.md
skills/huggingface-community-evals/SKILL.md- Estrellas del repositorio
- 11,241
- Actualización del repositorio
- 2026-10-30
- Clasificación de habilidades
- Automatización
- Última recopilación
Licencia: Apache-2.0
Los extractos del flujo de trabajo son guías de lectura, no instrucciones ejecutables de Codez. No se utilizó ninguna habilidad de terceros para generar esta página.
Los siguientes fragmentos sobre el propósito y el flujo de trabajo son material preliminar, organizado y traducido para su lectura. Son distintos del análisis editorial de Codez, que se presenta por separado.
Lo que hace esta habilidad
Ejecuta evaluaciones para modelos de Hugging Face Hub usando inspect-ai y lighteval en hardware local. Úsalo para la selección de backend, evaluaciones locales de GPU y para elegir entre vLLM, Transformers y accelerate. No apto para la orquestación de trabajos de HF, solicitudes de extracción de tarjetas de modelos, publicación de .eval_results ni automatización de evaluaciones comunitarias.
Cómo funciona el flujo de trabajo ascendente
Flujo de trabajo principal
Elija el marco de evaluación. Utiliceinspect-aicuando desee un control de tareas explícito y flujos nativos de inspección. Utilicelightevalcuando el benchmark se expresa naturalmente como una cadena de tarea lighteval, especialmente tareas de estilo ranking. Elija el backend de inferencia.
Descripción general
Esta función sirve para realizar evaluaciones contra modelos en Hugging Face Hub en hardware local.inspect-aicon inferencia locallightevalcon inferencia local eligiendo entrevllm, Transformers de caras abrazadoras yaccelerate
Límite de ejecución remota
Esta habilidad se detiene intencionalmente en la ejecución local y la selección del backend. Si el usuario desea: ejecutar estos scripts en Hugging Face Jobs, seleccionar hardware remoto.
Paso río arriba · L136 ↗Requisitos y configuración
Requisitos previos
Preferiruv runpara ejecución local. EstablecerHF_TOKENparagated/privatemodelos.
uv --version
printenv HF_TOKEN >/dev/null
nvidia-smiLímites y controles de calidad
No se seleccionó ningún pasaje con límites específicos en este archivo. Esto no significa que la habilidad sea segura para cualquier entrada o entorno. Revise el código fuente completo y valide su propio resultado.
Comience con una prueba segura.
- Verifique el host compatible y las instrucciones de instalación del repositorio. Mantenga juntos el directorio Skill y sus scripts, recursos y documentación a los que hace referencia;SKILL.mdsolo puede omitir dependencias.
- Proporcione al agente sus datos reales, el resultado deseado y los criterios de aceptación. La sintaxis de invocación y las herramientas disponibles dependen del sistema anfitrión; este sitio no presupone un comando de instalación universal.
- Pruebe el flujo de trabajo original en un proyecto desechable o en una copia. Revise las operaciones que modifican archivos, servicios remotos o recursos facturables antes de autorizarlas.
- Valide el resultado comparándolo con los controles de calidad de origen y sus propios requisitos. Un activador exitoso o un alto número de estrellas en el repositorio no garantizan un resultado correcto.
Lea más en la fuente
- Descripción general
- Requisitos previos
- Flujo de trabajo principal
- Opción A: ruta de inspección de IA con proveedores de inferencia locales
- Opción B: inspect-ai en la GPU local
- Opción C: lighteval en la GPU local
- Límite de ejecución remota
- Selección de tareas
- Selección de backend
- Guía de hardware
- Solución de problemas
- Ejemplos
Habilidades relacionadas
Traducción y alcance
Esta guía de lectura selecciona pasajes de la sección fijada en la parte superior.SKILL.mdLa traducción es asistida. No se trata de un manual completo ni garantiza la compatibilidad. Lea el original y los archivos a los que hace referencia antes de usarlo.
Esta introducción hace referencia a la versión fijada a continuación; la actividad actual del repositorio y la hora de recopilación se muestran por separado.
- Fuente fijada
- Lee el original ↗
- Fuente recuperada
- Confirmación de origen
fabc634a893f62ad5c2039830397efa35fa62715- Fuente SHA-256
a97f1c703f55b72427453a76af858237e6392a447fcafa9eeb85f7ac67f0155d