Локализованное руководство по чтению
huggingface-community-evalsНазначение, использование и источник
Выполняйте оценку моделей Hugging Face Hub с помощью inspect-ai и lighteval на локальном оборудовании. Используйте для выбора бэкенда, локальной оценки на GPU и выбора между vLLM / Transformers / accelerate. Не подходит для оркестрации заданий HF, запросов на слияние моделей, публикации .eval_results или автоматизации оценки сообществом.
Источник получен:
- Репозиторий-источник
- huggingface/skills
- SKILL.md
skills/huggingface-community-evals/SKILL.md- Звёзды репозитория
- 11,241
- Последнее обновление репозитория
- 2026-10-30
- Категории Skills
- Автоматизация
- Время последнего сбора
Лицензия: Apache-2.0
Приведенные фрагменты описания рабочих процессов являются вспомогательными средствами для чтения, а не исполняемыми инструкциями от Codez. Для создания этой страницы не использовались сторонние инструменты.
Приведённые ниже фрагменты, описывающие цели и рабочие процессы, представляют собой исходный материал, систематизированный и переведённый для удобства чтения. Они отличаются от отдельно обозначенного редакционного анализа Codez.
Что делает этот навык
Выполняйте оценку моделей Hugging Face Hub с помощью inspect-ai и lighteval на локальном оборудовании. Используйте для выбора бэкенда, локальной оценки на GPU и выбора между vLLM / Transformers / accelerate. Не подходит для оркестрации заданий HF, запросов на слияние моделей, публикации .eval_results или автоматизации оценки сообществом.
Как работает рабочий процесс на вышестоящем уровне
Основной рабочий процесс
Выберите систему оценки. Используйтеinspect-aiКогда вам требуется явный контроль задач и потоки, встроенные в интерфейс пользователя. ИспользуйтеlightevalКогда бенчмарк естественным образом выражается в виде строки задачи lighteval, особенно если это задачи в стиле таблицы лидеров, выберите бэкэнд для вывода результатов.
Обзор
Этот навык предназначен для проведения оценок моделей на платформе Hugging Face Hub на локальном оборудовании.inspect-aiс локальным выводомlightevalс локальным выводом, выбирающим междуvllmТрансформеры с обнимающимися лицами иaccelerate
Граница удаленного исполнения
Этот навык намеренно ограничивается локальным выполнением и выбором бэкенда. Если пользователь хочет: запустить эти скрипты на Hugging Face Jobs, выбрать удаленное оборудование,
проход вверх по течению · L136 ↗Требования и настройка
Предварительные требования
Предпочитатьuv runдля локального выполнения. УстановитеHF_TOKENдляgated/privateмодели.
uv --version
printenv HF_TOKEN >/dev/null
nvidia-smiОграничения и проверки качества
Из этого файла не был выбран отдельный фрагмент с ограничениями. Это не означает, что навык безопасен для любых входных данных или сред. Проверьте полный исходный код и подтвердите свой собственный результат.
Начните с безопасного пробного периода.
- Проверьте поддерживаемый хост и инструкции по установке репозитория. Храните каталог Skill, а также связанные с ним скрипты, ресурсы и документацию вместе;SKILL.mdВ одиночку можно опустить зависимости.
- Предоставьте агенту ваши реальные входные данные, желаемый результат и критерии приемки. Синтаксис вызова и доступные инструменты зависят от хоста; данный сайт не предполагает универсальной команды установки.
- Попробуйте запустить исходный рабочий процесс в тестовом проекте или в его копии. Перед тем как разрешить операции, изменяющие файлы, удаленные сервисы или оплачиваемые ресурсы, проверьте их.
- Проверьте выходные данные на соответствие исходным проверкам качества и вашим собственным требованиям. Успешный запуск или большое количество звезд в репозитории не гарантируют корректного результата.
Подробнее читайте в источнике.
- Обзор
- Предварительные требования
- Основной рабочий процесс
- Вариант A: inspect-ai с локальным путем к поставщикам вывода
- Вариант B: inspect-ai на локальном графическом процессоре
- Вариант C: lighteval на локальном графическом процессоре
- Граница удаленного исполнения
- Выбор задачи
- Выбор бэкэнда
- Руководство по аппаратному обеспечению
- Поиск неисправностей
- Примеры
Смежные навыки
Перевод и сфера применения
В этом руководстве по чтению представлены избранные отрывки из закрепленного текста выше по течению.SKILL.mdПеревод выполнен с помощью переводчика. Это не полное руководство и не гарантия проверенной совместимости. Перед использованием ознакомьтесь с оригиналом и указанными в нем файлами.
Данное введение относится к закрепленной ниже версии; текущая активность в репозитории и время сбора данных отображаются отдельно.
- Закрепленный источник
- Прочитайте оригинал ↗
- Источник получен
- Исходный коммит
fabc634a893f62ad5c2039830397efa35fa62715- Исходный SHA-256
a97f1c703f55b72427453a76af858237e6392a447fcafa9eeb85f7ac67f0155d