Descripción
BioGPT es un modelo transformador generativo preentrenado especializado, diseñado para la generación y minería de texto biomédico. Desarrollado por investigadores de Microsoft, tiene como objetivo avanzar las capacidades de procesamiento del lenguaje natural dentro del dominio biomédico. El proyecto proporciona acceso tanto a modelos preentrenados fundamentales como a versiones ajustadas para tareas específicas posteriores.
Este repositorio sirve como centro principal para BioGPT, ofreciendo los detalles de implementación, requisitos e instrucciones para la instalación y el uso. Los usuarios pueden clonar el repositorio y seguir los pasos proporcionados para configurar las dependencias necesarias, incluyendo PyTorch, fairseq, Moses y fastBPE. El proyecto enfatiza una guía clara sobre la configuración de variables de entorno y la instalación de las bibliotecas requeridas para garantizar un proceso de configuración fluido.
BioGPT ofrece una gama de puntos de control de modelos preentrenados, incluyendo el BioGPT base y BioGPT-Large, que se pueden descargar directamente o acceder a través del Hugging Face Hub. Adicionalmente, hay puntos de control ajustados disponibles para tareas como respuesta a preguntas (BioGPT-QA-PubMedQA), extracción de relaciones (BioGPT-RE-BC5CDR, BioGPT-RE-DDI, BioGPT-RE-DTI) y clasificación de documentos (BioGPT-DC-HoC). Estos modelos ajustados están diseñados para realizar tareas específicas de PNL biomédico con mayor precisión.
El proyecto también detalla cómo integrar BioGPT en código personalizado utilizando PyTorch, proporcionando fragmentos de ejemplo tanto para modelos preentrenados como ajustados. Además, BioGPT se ha integrado en la biblioteca de transformadores de Hugging Face, lo que permite una generación de texto y extracción de características sencillas utilizando pipelines y carga directa de modelos. Esta integración simplifica la adopción de BioGPT para investigadores y desarrolladores que trabajan con datos de texto biomédico.
BioGPT se publica bajo la licencia MIT, que se extiende a sus modelos preentrenados, promoviendo el acceso abierto y la colaboración dentro de la comunidad de investigación. El proyecto también se adhiere al Código de Conducta de Código Abierto de Microsoft, fomentando un entorno acogedor para contribuciones y sugerencias de la comunidad. Hay demostraciones disponibles en Hugging Face Spaces para la exploración interactiva de las capacidades de BioGPT.
Características principales de Microsoft BioGPT
Transformador Generativo Preentrenado para Texto Biomédico
Soporta tareas de generación y minería de texto
Proporciona puntos de control de modelos preentrenados y ajustados
Integración con la biblioteca de transformadores de Hugging Face
Disponible a través de descarga directa y Hugging Face Hub
Modelos ajustados para Respuesta a Preguntas
Modelos ajustados para Extracción de Relaciones
Modelos ajustados para Clasificación de Documentos
Código de ejemplo de uso para integración con PyTorch
Licenciado bajo MIT para uso y distribución abierta
Primeros pasos con Microsoft BioGPT
Clonar Repositorio: Clone el repositorio de GitHub microsoft/BioGPT.
Instalar Dependencias: Instale PyTorch, fairseq, Moses, fastBPE, sacremoses y scikit-learn según las instrucciones.
Configurar Entorno: Establezca las variables de entorno MOSES y FASTBPE a sus rutas de instalación respectivas.
Descargar Puntos de Control: Descargue los puntos de control de modelos preentrenados o ajustados desde las URL proporcionadas o el Hugging Face Hub.
Integrar en Código: Importe las clases necesarias y cargue los modelos utilizando los ejemplos de código Python proporcionados.
Ejecutar Generación: Utilice el modelo cargado para codificar el texto de entrada y generar texto biomédico.
Utilizar Hugging Face: Cargue BioGPT directamente utilizando el pipeline de transformadores de Hugging Face para la generación de texto.
Casos de uso de Microsoft BioGPT
- Generación de Texto Biomédico
- Respuesta a Preguntas Biomédicas
- Extracción de Relaciones
- Clasificación de Documentos
- Minería de Información Biomédica
- Predicción de Interacción Fármaco-Objetivo
