C✳CODEZ.WIN
🌐 简体中文

Skill 多语言阅读指南

huggingface-community-evals用途、用法与原始来源

使用 inspect-ai 和 lighteval 在本地硬件上运行 Hugging Face Hub 模型评估。可用于后端选择、本地 GPU 评估以及在 vLLM/Transformer/Accelerator 之间进行选择。不适用于 HF 作业编排、模型卡 PR、.eval_results 发布或社区评估自动化。

原文采集时间:

来源仓库
huggingface/skills
SKILL.md
skills/huggingface-community-evals/SKILL.md
仓库 Star
11,241
仓库最近更新
2026/10/30
能力分类
自动化
最近采集时间

许可:Apache-2.0

流程片段用于帮助阅读上游说明。本页没有执行第三方 Skill,不属于实测评测。

下面的用途和操作片段来自上游文档,由本站整理并翻译,和另行标注的 Codez 编辑分析分开展示。

这个 Skill 能做什么

使用 inspect-ai 和 lighteval 在本地硬件上运行 Hugging Face Hub 模型评估。可用于后端选择、本地 GPU 评估以及在 vLLM/Transformer/Accelerator 之间进行选择。不适用于 HF 作业编排、模型卡 PR、.eval_results 发布或社区评估自动化。

如何使用:上游操作流程

核心工作流程

选择评估框架。使用inspect-ai当您需要明确的任务控制和原生流程检查时,请使用lighteval当基准测试自然地以 lighteval 任务字符串的形式表达时,尤其是排行榜式任务,请选择推理后端。

原文片段 · L55 ↗

概述

这项技能用于在本地硬件上对 Hugging Face Hub 上的模型进行评估。inspect-ai利用局部推理lighteval通过局部推理在以下两者之间进行选择vllm拥抱脸变形金刚,以及accelerate

原文片段 · L6 ↗

远程执行边界

这项技能有意止步于本地执行和后端选择。如果用户想要:在 Hugging Face Jobs 上运行这些脚本,请选择远程硬件。

原文片段 · L136 ↗

环境与依赖

先决条件

更喜欢uv run用于本地执行。设置HF_TOKEN为了gated/private模型。

原文片段 · L39 ↗
原文片段 · bash ↗
uv --version
printenv HF_TOKEN >/dev/null
nvidia-smi

限制与结果检查

本次未从该文件选出独立的限制片段,不代表适用于所有输入或环境。请阅读完整原文,并自行验证实际结果。

开始使用前

  1. 先核对支持的 Agent 宿主和仓库安装说明。保留完整 Skill 目录及其引用的脚本、资源和文档,只复制 SKILL.md 可能漏掉依赖。
  2. 向 Agent 提供实际输入、期望输出和验收标准。调用方式与可用工具取决于宿主环境,本站不假定存在通用的安装命令。
  3. 先在临时项目或输入副本上试用。涉及修改文件、远程服务或计费资源的操作,应逐项核对后再授权。
  4. 按照原文检查项和自己的需求验证输出。成功触发或仓库 Star 较高,都不能证明结果正确。

Skill 文件与目录格式规范 ↗

继续阅读原始文档

翻译与介绍范围

本页从固定版本的上游 SKILL.md 整理用途与操作片段,译文使用辅助翻译。它不是完整手册,也不代表经过兼容性实测;使用前请核对原文及其引用文件。

介绍依据下方列出的固定版本;当前仓库动态和目录采集时间单独展示。

固定版本来源
阅读原文 ↗
原文采集时间
来源提交版本
fabc634a893f62ad5c2039830397efa35fa62715
原文 SHA-256
a97f1c703f55b72427453a76af858237e6392a447fcafa9eeb85f7ac67f0155d
返回完整 Skill 目录