Guía de lectura localizada
hf-memFinalidad, uso y origen
Hugging Face CLI para estimar la memoria necesaria para cargar Safetensors o los pesos del modelo GGUF para la inferencia desde Hugging Face Hub
Fuente recuperada:
- Repositorio de origen
- huggingface/skills
- SKILL.md
skills/hf-mem/SKILL.md- Estrellas del repositorio
- 11,241
- Actualización del repositorio
- 2026-10-30
- Clasificación de habilidades
- Otros
- Última recopilación
Licencia: Apache-2.0
Los extractos del flujo de trabajo son guías de lectura, no instrucciones ejecutables de Codez. No se utilizó ninguna habilidad de terceros para generar esta página.
Los siguientes fragmentos sobre el propósito y el flujo de trabajo son material preliminar, organizado y traducido para su lectura. Son distintos del análisis editorial de Codez, que se presenta por separado.
Lo que hace esta habilidad
Hugging Face CLI para estimar la memoria necesaria para cargar Safetensors o los pesos del modelo GGUF para la inferencia desde Hugging Face Hub
Cómo funciona el flujo de trabajo ascendente
¿Cómo correr?
Correr con--model-idapuntando al repositorio Hugging Face Hub que comprobará si contiene Safetensors (a través demodel.safetensors,model.safetensors.index.jsonsi se fragmenta, omodel_index.jsonpara difusores) o pesos del modelo GGUF dentro. Si el repositorio contiene pesos del modelo GGUF en múltiples precisiones/cuantizaciones, las estimaciones se realizarán por archivo, mientras que para la inferencia no se cargarán todos, sino solo una única precisión. Dicho esto, para GGUF también podría ser necesario proporcionar--gguf-filepara seleccionar el archivo específico (o la ruta si está fragmentado) que desea ejecutar. Además,hf-memviene con un--experimentalbandera que también calculará los requisitos de memoria caché KV, útil para modelos de lenguaje grandes, lo que significa que se aplica a LLM (...ForCausalLM), VLMs (...ForConditionalGeneration), y modelos GGUF. Para Safetensors, utilice lo siguiente:
Descripción general
hf_memestima la memoria requerida para la inferencia, incluidos los pesos del modelo y una caché KV opcional, para Safetensors y GGUF para modelos en Hugging Face Hub usando solicitudes HTTP Range, es decir, sin descargar ni cargar ningún peso localmente.
¿Cuándo usarlo?
El usuario pregunta cuánta VRAM o memoria necesita un modelo para ejecutarse. El usuario quiere saber si un modelo cabe en su GPU o en una instancia determinada. El usuario hace referencia a un ID o URL de un modelo de Hugging Face y pregunta sobre los requisitos de inferencia.
Paso río arriba · L8 ↗uvx hf-mem --model-id <model-id> --json-outputRequisitos y configuración
¿Cuáles son los requisitos?
uvinstalado (parauvx)HF_TOKENvariable de entorno o--hf-tokenbandera (solo para modelos con acceso restringido o privados)
Límites y controles de calidad
No se seleccionó ningún pasaje con límites específicos en este archivo. Esto no significa que la habilidad sea segura para cualquier entrada o entorno. Revise el código fuente completo y valide su propio resultado.
Comience con una prueba segura.
- Verifique el host compatible y las instrucciones de instalación del repositorio. Mantenga juntos el directorio Skill y sus scripts, recursos y documentación a los que hace referencia;SKILL.mdsolo puede omitir dependencias.
- Proporcione al agente sus datos reales, el resultado deseado y los criterios de aceptación. La sintaxis de invocación y las herramientas disponibles dependen del sistema anfitrión; este sitio no presupone un comando de instalación universal.
- Pruebe el flujo de trabajo original en un proyecto desechable o en una copia. Revise las operaciones que modifican archivos, servicios remotos o recursos facturables antes de autorizarlas.
- Valide el resultado comparándolo con los controles de calidad de origen y sus propios requisitos. Un activador exitoso o un alto número de estrellas en el repositorio no garantizan un resultado correcto.
Lea más en la fuente
Habilidades relacionadas
Traducción y alcance
Esta guía de lectura selecciona pasajes de la sección fijada en la parte superior.SKILL.mdLa traducción es asistida. No se trata de un manual completo ni garantiza la compatibilidad. Lea el original y los archivos a los que hace referencia antes de usarlo.
Esta introducción hace referencia a la versión fijada a continuación; la actividad actual del repositorio y la hora de recopilación se muestran por separado.
- Fuente fijada
- Lee el original ↗
- Fuente recuperada
- Confirmación de origen
fabc634a893f62ad5c2039830397efa35fa62715- Fuente SHA-256
ee99f9d97e084aa61a80eaec4e6de2265341e71256d918d48fb87a2ac01ce99f