Guia de leitura localizado
huggingface-community-evalsFinalidade, utilização e fonte
Execute avaliações para modelos do Hugging Face Hub usando inspect-ai e lighteval em hardware local. Use para seleção de backend, avaliações locais em GPU e escolha entre vLLM / Transformers / accelerate. Não é adequado para orquestração de HF Jobs, PRs de model-card, publicação de .eval_results ou automação de avaliações da comunidade.
Fonte recuperada:
- Repositório de origem
- huggingface/skills
- SKILL.md
skills/huggingface-community-evals/SKILL.md- Estrelas do repositório
- 11,241
- Atualização do repositório
- 2026-10-30
- Classificação de Habilidades
- Automação
- Última coleta
Licença: Apache-2.0
Os trechos do fluxo de trabalho são auxiliares de leitura e não instruções executáveis do Codez. Nenhuma Skill de terceiros foi executada para gerar esta página.
Os trechos abaixo, que descrevem o propósito e o fluxo de trabalho, são material original, organizado e traduzido para facilitar a leitura. Eles são distintos da análise editorial da Codez, que possui uma etiqueta separada.
O que esta habilidade faz
Execute avaliações para modelos do Hugging Face Hub usando inspect-ai e lighteval em hardware local. Use para seleção de backend, avaliações locais em GPU e escolha entre vLLM / Transformers / accelerate. Não é adequado para orquestração de HF Jobs, PRs de model-card, publicação de .eval_results ou automação de avaliações da comunidade.
Como funciona o fluxo de trabalho upstream
Fluxo de trabalho principal
Escolha a estrutura de avaliação. Useinspect-aiQuando você deseja controle explícito de tarefas e fluxos de inspeção nativa, uselightevalQuando o benchmark é naturalmente expresso como uma string de tarefa lighteval, especialmente tarefas no estilo leaderboard, escolha o backend de inferência.
Visão geral
Essa habilidade serve para executar avaliações em modelos no Hugging Face Hub em hardware local.inspect-aicom inferência locallightevalcom inferência local escolhendo entrevllm, Transformers do Abraço eaccelerate
Limite de execução remota
Essa habilidade intencionalmente para na execução local e na seleção do backend. Se o usuário quiser executar esses scripts no Hugging Face Jobs, ele poderá escolher um hardware remoto.
Passagem a montante · L136 ↗Requisitos e configuração
Pré-requisitos
Preferênciauv runpara execução local. DefinaHF_TOKENparagated/privatemodelos.
uv --version
printenv HF_TOKEN >/dev/null
nvidia-smiLimites e verificações de qualidade
Nenhuma passagem de limites separada foi selecionada deste arquivo. Isso não significa que a Skill seja segura para todas as entradas ou ambientes. Analise o código-fonte completo e valide seus próprios resultados.
Comece com um teste seguro.
- Verifique o host compatível e as instruções de instalação do repositório. Mantenha o diretório Skill e seus scripts, recursos e documentação referenciados juntos;SKILL.mdsozinho pode omitir dependências.
- Forneça ao agente suas entradas reais, a saída desejada e os critérios de aceitação. A sintaxe de invocação e as ferramentas disponíveis dependem do host; este site não pressupõe um comando de instalação universal.
- Teste o fluxo de trabalho original em um projeto descartável ou em uma cópia. Analise as operações que alteram arquivos, serviços remotos ou recursos faturáveis antes de permiti-las.
- Valide o resultado comparando-o com as verificações de qualidade da fonte e com seus próprios requisitos. Um gatilho bem-sucedido ou uma alta contagem de estrelas no repositório não garantem um resultado correto.
Leia mais na fonte.
Habilidades relacionadas
Tradução e escopo
Este guia de leitura seleciona trechos do texto fixado a montante.SKILL.mdA tradução foi feita com auxílio de ferramentas. Este não é um manual completo nem garante compatibilidade comprovada. Leia o original e os arquivos referenciados antes de usar.
Esta introdução refere-se à versão fixada abaixo; a atividade atual do repositório e o tempo de coleta são mostrados separadamente.
- Fonte fixada
- Leia o original ↗
- Fonte recuperada
- Commit de origem
fabc634a893f62ad5c2039830397efa35fa62715- Fonte SHA-256
a97f1c703f55b72427453a76af858237e6392a447fcafa9eeb85f7ac67f0155d