Guia de leitura localizado
train-sentence-transformersFinalidade, utilização e fonte
Treinar ou ajustar modelos de transformadores de sentenças emSentenceTransformer(bi-encoder, modelo de incorporação densa ou estática para recuperação, similaridade, agrupamento, classificação, mineração de paráfrases, desduplicação, multimodal),CrossEncoder(reclassificador, pontuação de pares para recuperação em dois estágios / classificação de pares),SparseEncoder(SPLADE, modelo de incorporação esparsa para recuperação esparsa aprendida), eMultiVectorEncoder(ColBERT / interação tardia, incorporações por token pontuadas com MaxSim). Abrange seleção de função de perda, mineração de negativos difíceis, avaliadores, destilação, LoRA, Matryoshka e publicação no Hugging Face Hub. Use para qualquer tarefa de treinamento de transformadores de sentenças.
Fonte recuperada:
- Repositório de origem
- huggingface/skills
- SKILL.md
skills/train-sentence-transformers/SKILL.md- Estrelas do repositório
- 11,241
- Atualização do repositório
- 2026-10-30
- Classificação de Habilidades
- Desenvolvimento
- Última coleta
Licença: Apache-2.0
Os trechos do fluxo de trabalho são auxiliares de leitura e não instruções executáveis do Codez. Nenhuma Skill de terceiros foi executada para gerar esta página.
Os trechos abaixo, que descrevem o propósito e o fluxo de trabalho, são material original, organizado e traduzido para facilitar a leitura. Eles são distintos da análise editorial da Codez, que possui uma etiqueta separada.
O que esta habilidade faz
Treinar ou ajustar modelos de transformadores de sentenças emSentenceTransformer(bi-encoder, modelo de incorporação densa ou estática para recuperação, similaridade, agrupamento, classificação, mineração de paráfrases, desduplicação, multimodal),CrossEncoder(reclassificador, pontuação de pares para recuperação em dois estágios / classificação de pares),SparseEncoder(SPLADE, modelo de incorporação esparsa para recuperação esparsa aprendida), eMultiVectorEncoder(ColBERT / interação tardia, incorporações por token pontuadas com MaxSim). Abrange seleção de função de perda, mineração de negativos difíceis, avaliadores, destilação, LoRA, Matryoshka e publicação no Hugging Face Hub. Use para qualquer tarefa de treinamento de transformadores de sentenças.
Como funciona o fluxo de trabalho upstream
5Fluxo de trabalho
Identifique o tipo de modelo (§1Pergunte se for ambíguo. Carregue o §2Arquivos de leitura obrigatória para esse tipo. Abrascripts/train__example.pye copie-o como ponto de partida. SubstituaMODEL_NAME,DATASET_NAME,RUN_NAME, a perda e o avaliador com a tarefa do usuário. Verificação cruzadaloss/data-shapepartida contrareferences/losses_.mdVerifique também ometric_for_best_modelchave contrareferences/evaluators_.md(Os avaliadores nomeados formatam a chave comoeval_{name}_{primary_metric}).
Treinar um modelo de transformadores de sentenças
EsseSKILL.mdé um roteador, não um manual. Ele indica quais referências e scripts de exemplo carregar para sua tarefa. O conteúdo real (perdas recomendadas, avaliadores, estrutura do script de treinamento, seleção de modelo, configurações de argumentos de treinamento, solução de problemas) está emreferences/escripts/Não sintetize um script de treinamento apenas a partir deste arquivo. Abra o modelo de produção por tipo (scripts/train__example.py) e copie-o como ponto de partida. Os modelos contêm a estrutura básica (auxiliar de autocast, classe de modelo-cartão, lista de silenciamento de logger,force=True,seed, TF32, importações compatíveis com a versão, tratamento de métricas de avaliadores nomeados) que execuções anteriores do agente repetidamente deixaram passar ao criar suas próprias soluções a partir de um trecho sintetizado.
1Identifique o tipo de modelo.
Critérios de desempate quando a solicitação for ambígua: "embedding model" / "vector search" / "similarity" → [SentenceTransformer]. "rerank" / "ranker" / "two-stage" → [CrossEncoder]. "SPLADE" / "sparse" / "inverted index" → [SparseEncoder]. "ColBERT" / "late interaction" / "multi-vector" / "MaxSim" / "ColPali" / "ColQwen" → [MultiVectorEncoder]. Se ainda não estiver claro, pergunte.
Passagem a montante · L12 ↗Requisitos e configuração
Pré-requisitos
Recomenda-se fortemente o uso de GPU. O uso de CPU funciona apenas para demonstrações e[SentenceTransformer] StaticEmbedding.
pip install "sentence-transformers[train]>=5.0" # add [train,image] / [audio] / [video] for [SentenceTransformer] multimodal
# [MultiVectorEncoder] requires >=6.0
pip install trackio # optional tracker (or wandb / tensorboard / mlflow)
hf auth login # or set HF_TOKEN with write scope (for Hub push)Limites e verificações de qualidade
4Restrições que o script gerado deve satisfazer.
Esses são contratos não negociáveis. A implementação reside nos modelos e referências de produção. Não reinvente a roda. Registre a pontuação do avaliador pré-treinamento comobaseline_evalantestrainer.train().
Comece com um teste seguro.
- Verifique o host compatível e as instruções de instalação do repositório. Mantenha o diretório Skill e seus scripts, recursos e documentação referenciados juntos;SKILL.mdsozinho pode omitir dependências.
- Forneça ao agente suas entradas reais, a saída desejada e os critérios de aceitação. A sintaxe de invocação e as ferramentas disponíveis dependem do host; este site não pressupõe um comando de instalação universal.
- Teste o fluxo de trabalho original em um projeto descartável ou em uma cópia. Analise as operações que alteram arquivos, serviços remotos ou recursos faturáveis antes de permiti-las.
- Valide o resultado comparando-o com as verificações de qualidade da fonte e com seus próprios requisitos. Um gatilho bem-sucedido ou uma alta contagem de estrelas no repositório não garantem um resultado correto.
Leia mais na fonte.
- Treinar um modelo de transformadores de sentenças
- 1Identifique o tipo de modelo.
- 2Leitura obrigatória
- Por tipo: sempre obrigatório
- Transversal: sempre necessário (independentemente da tarefa)
- Corte transversal: carregar quando aplicável
- Scripts variantes (abre quando a tarefa corresponde)
- 3Padrões
- 4Restrições que o script gerado deve satisfazer.
- 5Fluxo de trabalho
- Pré-requisitos
Habilidades relacionadas
Tradução e escopo
Este guia de leitura seleciona trechos do texto fixado a montante.SKILL.mdA tradução foi feita com auxílio de ferramentas. Este não é um manual completo nem garante compatibilidade comprovada. Leia o original e os arquivos referenciados antes de usar.
Esta introdução refere-se à versão fixada abaixo; a atividade atual do repositório e o tempo de coleta são mostrados separadamente.
- Fonte fixada
- Leia o original ↗
- Fonte recuperada
- Commit de origem
fabc634a893f62ad5c2039830397efa35fa62715- Fonte SHA-256
9bd098d81049fc245032ee4f97cf5d9de906d726731ace4a6df0bad6d9dcd182