설명
BioGPT는 생물의학 텍스트 생성 및 마이닝을 위해 설계된 특수 생성적 사전 학습 트랜스포머 모델입니다. Microsoft 연구원들이 개발했으며, 생물의학 도메인 내에서 자연어 처리 기능을 발전시키는 것을 목표로 합니다. 이 프로젝트는 기본적인 사전 학습 모델과 특정 다운스트림 작업을 위해 미세 조정된 버전 모두에 대한 액세스를 제공합니다.
이 저장소는 BioGPT의 중앙 허브 역할을 하며, 구현 세부 정보, 요구 사항 및 설치 및 사용 지침을 제공합니다. 사용자는 저장소를 복제하고 제공된 단계를 따라 PyTorch, fairseq, Moses 및 fastBPE를 포함한 필요한 종속성을 설정할 수 있습니다. 이 프로젝트는 원활한 설정 프로세스를 보장하기 위해 환경 변수 구성 및 필수 라이브러리 설치에 대한 명확한 지침을 강조합니다.
BioGPT는 기본 BioGPT 및 BioGPT-Large를 포함한 다양한 사전 학습 모델 체크포인트를 제공하며, 이는 직접 다운로드하거나 Hugging Face Hub를 통해 액세스할 수 있습니다. 또한, 질의응답(BioGPT-QA-PubMedQA), 관계 추출(BioGPT-RE-BC5CDR, BioGPT-RE-DDI, BioGPT-RE-DTI) 및 문서 분류(BioGPT-DC-HoC)와 같은 작업을 위한 미세 조정된 체크포인트도 사용할 수 있습니다. 이러한 미세 조정된 모델은 특정 생물의학 NLP 작업을 더 높은 정확도로 수행하도록 맞춤화되었습니다.
이 프로젝트는 PyTorch를 사용하여 BioGPT를 사용자 지정 코드에 통합하는 방법도 자세히 설명하며, 사전 학습 및 미세 조정된 모델 모두에 대한 예제 스니펫을 제공합니다. 또한, BioGPT는 Hugging Face transformers 라이브러리에 통합되어 파이프라인 및 직접 모델 로딩을 사용하여 간단한 텍스트 생성 및 기능 추출을 가능하게 합니다. 이러한 통합은 생물의학 텍스트 데이터로 작업하는 연구원 및 개발자가 BioGPT를 채택하는 것을 단순화합니다.
BioGPT는 MIT 라이선스에 따라 출시되며, 이는 사전 학습된 모델에도 적용되어 연구 커뮤니티 내에서 공개 액세스 및 협업을 촉진합니다. 이 프로젝트는 Microsoft 오픈 소스 행동 강령을 준수하여 커뮤니티의 기여 및 제안을 위한 환영 환경을 조성합니다. Hugging Face Spaces에서 BioGPT의 기능을 대화형으로 탐색할 수 있는 데모가 제공됩니다.
Microsoft BioGPT의 핵심 기능
생물의학 텍스트를 위한 생성적 사전 학습 트랜스포머
텍스트 생성 및 마이닝 작업 지원
사전 학습 및 미세 조정된 모델 체크포인트 제공
Hugging Face transformers 라이브러리와의 통합
직접 다운로드 및 Hugging Face Hub를 통해 사용 가능
질의응답을 위한 미세 조정된 모델
관계 추출을 위한 미세 조정된 모델
문서 분류를 위한 미세 조정된 모델
PyTorch 통합을 위한 예제 사용 코드
오픈 사용 및 배포를 위한 MIT 라이선스
Microsoft BioGPT 시작하기
저장소 복제: microsoft/BioGPT GitHub 저장소를 복제합니다.
종속성 설치: 지침에 따라 PyTorch, fairseq, Moses, fastBPE, sacremoses 및 scikit-learn을 설치합니다.
환경 구성: MOSES 및 FASTBPE 환경 변수를 해당 설치 경로로 설정합니다.
체크포인트 다운로드: 제공된 URL 또는 Hugging Face Hub에서 사전 학습 또는 미세 조정된 모델 체크포인트를 다운로드합니다.
코드에 통합: 필요한 클래스를 가져오고 제공된 Python 코드 예제를 사용하여 모델을 로드합니다.
생성 실행: 로드된 모델을 사용하여 입력 텍스트를 인코딩하고 생물의학 텍스트를 생성합니다.
Hugging Face 활용: 텍스트 생성을 위해 Hugging Face transformers 파이프라인을 사용하여 BioGPT를 직접 로드합니다.
Microsoft BioGPT의 사용 사례
- 생물의학 텍스트 생성
- 생물의학 질의응답
- 관계 추출
- 문서 분류
- 생물의학 정보 마이닝
- 약물-표적 상호작용 예측
