C✳CODEZ.WIN
🌐 简体中文

Skill 多语言阅读指南

hf-mem用途、用法与原始来源

使用 Hugging Face CLI 估算从 Hugging Face Hub 加载 Safetensors 或 GGUF 模型权重进行推理所需的内存。

原文采集时间:

来源仓库
huggingface/skills
SKILL.md
skills/hf-mem/SKILL.md
仓库 Star
11,241
仓库最近更新
2026/10/30
能力分类
其他
最近采集时间

许可:Apache-2.0

流程片段用于帮助阅读上游说明。本页没有执行第三方 Skill,不属于实测评测。

下面的用途和操作片段来自上游文档,由本站整理并翻译,和另行标注的 Codez 编辑分析分开展示。

这个 Skill 能做什么

使用 Hugging Face CLI 估算从 Hugging Face Hub 加载 Safetensors 或 GGUF 模型权重进行推理所需的内存。

如何使用:上游操作流程

如何跑步?

奔跑--model-id指向 Hugging Face Hub 存储库,该存储库将检查它是否包含 Safetensors(通过model.safetensors,model.safetensors.index.json如果分片,或者model_index.json对于扩散器)或 GGUF 模型权重。如果存储库包含多种精度/量化的 GGUF 模型权重,则估计将基于每个文件进行;而对于推理,您无需加载所有精度,只需加载其中一种精度即可。也就是说,对于 GGUF,您可能还需要提供--gguf-file指定要运行的特定文件(或分片后的路径)。此外,hf-mem附带一个--experimental该标志还会计算 KV 缓存内存需求,这对于大型语言模型很有用,这意味着它适用于 LLM(...ForCausalLM),VLM(...ForConditionalGeneration)和 GGUF 模型。对于 Safetensors,请使用以下方式:

原文片段 · L19 ↗

概述

hf_mem使用 HTTP Range 请求(即无需在本地下载或加载任何权重)来估算 Hugging Face Hub 上 Safetensors 和 GGUF 模型推理所需的内存,包括模型权重和可选的 KV 缓存。

原文片段 · L6 ↗

何时使用?

用户询问模型运行需要多少显存或内存;用户想知道模型是否适合其GPU或特定实例;用户引用Hugging Face模型ID或URL,并询问推理要求。

原文片段 · L8 ↗
原文片段 · bash ↗
uvx hf-mem --model-id <model-id> --json-output

环境与依赖

有哪些要求?

uv已安装(用于)uvx)HF_TOKEN环境变量或--hf-token旗帜(仅适用于封闭式或私人模式)

原文片段 · L14 ↗

限制与结果检查

本次未从该文件选出独立的限制片段,不代表适用于所有输入或环境。请阅读完整原文,并自行验证实际结果。

开始使用前

  1. 先核对支持的 Agent 宿主和仓库安装说明。保留完整 Skill 目录及其引用的脚本、资源和文档,只复制 SKILL.md 可能漏掉依赖。
  2. 向 Agent 提供实际输入、期望输出和验收标准。调用方式与可用工具取决于宿主环境,本站不假定存在通用的安装命令。
  3. 先在临时项目或输入副本上试用。涉及修改文件、远程服务或计费资源的操作,应逐项核对后再授权。
  4. 按照原文检查项和自己的需求验证输出。成功触发或仓库 Star 较高,都不能证明结果正确。

Skill 文件与目录格式规范 ↗

继续阅读原始文档

翻译与介绍范围

本页从固定版本的上游 SKILL.md 整理用途与操作片段,译文使用辅助翻译。它不是完整手册,也不代表经过兼容性实测;使用前请核对原文及其引用文件。

介绍依据下方列出的固定版本;当前仓库动态和目录采集时间单独展示。

固定版本来源
阅读原文 ↗
原文采集时间
来源提交版本
fabc634a893f62ad5c2039830397efa35fa62715
原文 SHA-256
ee99f9d97e084aa61a80eaec4e6de2265341e71256d918d48fb87a2ac01ce99f
返回完整 Skill 目录