Descrição
SpanBERT é um modelo avançado de IA desenvolvido pelo Facebook Research, projetado para aprimorar técnicas de pré-treinamento, focando na representação e previsão de spans de texto. Este repositório fornece o código e os modelos necessários para que pesquisadores e desenvolvedores utilizem e avaliem as capacidades do SpanBERT.
Ler mais
O projeto oferece modelos pré-treinados nas versões base e large, ambos com caixa (cased). Esses modelos compartilham a mesma configuração do BERT, mas incorporam esquemas de mascaramento e objetivos de treinamento distintos, conforme detalhado no artigo associado. O modelo SpanBERT (base & cased) apresenta uma arquitetura de 12 camadas com 768 unidades ocultas e 12 cabeças, totalizando 110 milhões de parâmetros. O modelo SpanBERT (large & cased) maior possui uma arquitetura de 24 camadas, 1024 unidades ocultas, 16 cabeças e 340 milhões de parâmetros. Esses modelos são projetados para integração perfeita, adotando o formato dos modelos BERT da HuggingFace, permitindo fácil substituição.
Este repositório inclui código abrangente para o fine-tuning do SpanBERT em uma variedade de tarefas de Processamento de Linguagem Natural (PLN). Scripts específicos são fornecidos para fine-tuning nos conjuntos de dados de resposta a perguntas SQuAD 1.1 e SQuAD 2.0, TACRED para extração de relações e benchmarks MRQA, que englobam conjuntos de dados como NewsQA, TriviaQA, SearchQA, HotpotQA e NaturalQuestions. Adicionalmente, está disponível código para fine-tuning em tarefas GLUE, como RTE. Para tarefas de resolução de correferência, uma implementação separada em TensorFlow é vinculada.
Benchmarks de desempenho são apresentados, demonstrando os resultados superiores do SpanBERT em comparação com o BERT nos conjuntos de dados SQuAD 1.1, SQuAD 2.0, Coref e TACRED. Por exemplo, o SpanBERT (large) atinge uma pontuação F1 de 94.6 no SQuAD 1.1 e 88.7 no SQuAD 2.0, superando o BERT (large). O projeto também facilita o download de modelos fine-tuned para tarefas downstream, simplificando o processo de adoção para os usuários.
O SpanBERT é lançado sob a licença CC-BY-NC 4.0, que se aplica tanto ao código quanto aos modelos pré-treinados. Isso o torna acessível para pesquisa e desenvolvimento não comercial. O repositório incentiva contribuições e fornece informações de contato para dúvidas e suporte.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasWeb
Recursos principais de SpanBERT
Modelos SpanBERT pré-treinados (base e large, cased)
Código para usar e avaliar o SpanBERT
Scripts de fine-tuning para SQuAD 1.1 e SQuAD 2.0
Scripts de fine-tuning para extração de relações TACRED
Scripts de fine-tuning para conjuntos de dados MRQA (NewsQA, TriviaQA, etc.)
Scripts de fine-tuning para tarefas GLUE (RTE)
Compatibilidade com formatos de modelo BERT da HuggingFace
Código de fine-tuning para resolução de correferência disponível
Benchmarks de desempenho contra BERT
Modelos fine-tuned para download para tarefas downstream
Implementação do artigo SpanBERT: Improving Pre-training by Representing and Predicting Spans
Primeiros passos com SpanBERT
Acessar código: Clone o repositório SpanBERT no GitHub.
Configurar ambiente: Instale as dependências necessárias, incluindo Apex (commit específico recomendado).
Carregar modelos pré-treinados: Utilize os scripts fornecidos para carregar modelos SpanBERT base ou large cased.
Fine-tune modelos: Execute os scripts Python fornecidos para tarefas como SQuAD, TACRED, MRQA ou GLUE.
Integrar via API: Adapte o uso do modelo para aplicações personalizadas, aproveitando a compatibilidade com HuggingFace.
Avaliar desempenho: Execute scripts de avaliação para verificar o desempenho do modelo em tarefas específicas de PLN.
Baixar modelos fine-tuned: Use os scripts fornecidos para obter modelos pré-treinados para tarefas downstream.
Casos de uso de SpanBERT
- Resposta a Perguntas
- Extração de Relações
- Resolução de Correferência
- Compreensão de Linguagem Natural
- Previsão de Spans de Texto
- Pesquisa e Desenvolvimento
- Avaliação de Benchmark
