Lokalisierter Leseleitfaden
huggingface-community-evalsZweck, Verwendung und Quelle
Führe Evaluierungen für Hugging Face Hub-Modelle mit inspect-ai und lighteval auf lokaler Hardware durch. Verwende dies zur Backend-Auswahl, für lokale GPU-Evaluierungen und zur Auswahl zwischen vLLM, Transformers und accelerate. Nicht geeignet für die Orchestrierung von HF-Jobs, Modellkarten-PRs, die Veröffentlichung von .eval_results oder die Automatisierung von Community-Evaluierungen.
Quelle abgerufen:
- Quell-Repository
- huggingface/skills
- SKILL.md
skills/huggingface-community-evals/SKILL.md- Repository-Sterne
- 11,241
- Repository zuletzt aktualisiert
- 2026-10-30
- Fähigkeitskategorien
- Automatisierung
- Letzte Datenerfassung
Lizenz: Apache-2.0
Die Workflow-Auszüge dienen als Lesehilfe und sind keine ausführbaren Anweisungen von Codez. Für die Erstellung dieser Seite wurde keine Drittanbieter-Skill verwendet.
Die folgenden Abschnitte zu Zweck und Arbeitsablauf sind vorgelagertes Material, das zur besseren Lesbarkeit aufbereitet und übersetzt wurde. Sie unterscheiden sich von der separat gekennzeichneten redaktionellen Analyse von Codez.
Was diese Fähigkeit bewirkt
Führe Evaluierungen für Hugging Face Hub-Modelle mit inspect-ai und lighteval auf lokaler Hardware durch. Verwende dies zur Backend-Auswahl, für lokale GPU-Evaluierungen und zur Auswahl zwischen vLLM, Transformers und accelerate. Nicht geeignet für die Orchestrierung von HF-Jobs, Modellkarten-PRs, die Veröffentlichung von .eval_results oder die Automatisierung von Community-Evaluierungen.
Wie der vorgelagerte Workflow funktioniert
Kern-Workflow
Wählen Sie den Bewertungsrahmen.inspect-aiWenn Sie eine explizite Aufgabensteuerung und die Inspektion nativer Abläufe wünschen. Verwenden SielightevalWenn der Benchmark natürlich als Lighteval-Aufgabenzeichenkette ausgedrückt wird, insbesondere bei Aufgaben im Leaderboard-Stil, wählen Sie das Inferenz-Backend.
Überblick
Diese Funktion dient dazu, Auswertungen von Modellen auf dem Hugging Face Hub auf lokaler Hardware durchzuführen.inspect-aimit lokaler Inferenzlightevalmit lokaler Inferenz, die zwischenvllm, Hugging Face Transformers, undaccelerate
Remote Execution Boundary
Diese Funktion beschränkt sich absichtlich auf die lokale Ausführung und die Auswahl des Backends. Wenn der Benutzer diese Skripte auf Hugging Face Jobs ausführen und Remote-Hardware auswählen möchte, ...
Aufwärtspassage · L136 ↗Anforderungen und Einrichtung
Voraussetzungen
Bevorzugenuv runFür die lokale Ausführung. FestlegenHF_TOKENfürgated/privateModelle.
uv --version
printenv HF_TOKEN >/dev/null
nvidia-smiGrenzwerte und Qualitätskontrollen
Aus dieser Datei wurde kein separater Grenzwertabschnitt ausgewählt. Dies bedeutet nicht, dass die Anwendung für jede Eingabe oder Umgebung geeignet ist. Überprüfen Sie den vollständigen Quellcode und validieren Sie Ihr Ergebnis selbst.
Beginnen Sie mit einem sicheren Testlauf
- Prüfen Sie den unterstützten Host und die Installationsanweisungen für das Repository. Halten Sie das Skill-Verzeichnis und die darin enthaltenen Skripte, Assets und Dokumentationen zusammen;SKILL.mdEine Einzelperson kann Abhängigkeiten außer Acht lassen.
- Geben Sie dem Agenten Ihre tatsächlichen Eingaben, die gewünschten Ausgaben und die Akzeptanzkriterien an. Aufrufsyntax und verfügbare Tools hängen vom Hostsystem ab; diese Website geht nicht von einem universellen Installationsbefehl aus.
- Testen Sie den Quellworkflow in einem temporären Projekt oder auf einer Kopie. Überprüfen Sie Vorgänge, die Dateien, Remote-Dienste oder abrechnungsfähige Ressourcen ändern, bevor Sie diese zulassen.
- Überprüfen Sie die Ausgabe anhand der Quellqualitätsprüfungen und Ihrer eigenen Anforderungen. Ein erfolgreicher Trigger oder eine hohe Anzahl von Sternen im Repository garantiert kein korrektes Ergebnis.
Lesen Sie mehr dazu in der Quelle.
Verwandte Fähigkeiten
Übersetzung und Umfang
Dieser Leseleitfaden wählt Passagen aus dem markierten stromaufwärts gelegenen Abschnitt aus.SKILL.mdDie Übersetzung wurde unterstützt. Es handelt sich weder um ein vollständiges Handbuch noch um eine Garantie für geprüfte Kompatibilität. Lesen Sie vor der Verwendung das Original und die darin referenzierten Dateien.
Diese Einleitung bezieht sich auf die unten angepinnte Version; die aktuelle Repository-Aktivität und der Erfassungszeitpunkt werden separat angezeigt.
- Angeheftete Quelle
- Lesen Sie das Original ↗
- Quelle abgerufen
- Source-Commit
fabc634a893f62ad5c2039830397efa35fa62715- Quelle SHA-256
a97f1c703f55b72427453a76af858237e6392a447fcafa9eeb85f7ac67f0155d