설명
Microsoft에서 개발한 MPNet은 Masked and Permuted Pre-training for Language Understanding의 약자입니다. 이 혁신적인 사전 학습 방법은 BERT의 Masked Language Modeling(MLM) 및 XLNet의 Permuted Language Modeling(PLM)과 같은 기존 모델의 한계를 해결하여 언어 이해 벤치마크에서 우수한 정확도를 달성합니다.
더 읽기
이 프로젝트는 BERT, XLNet 및 MPNet 자체를 포함한 여러 사전 학습 모델에 대한 통합된 뷰와 구현을 제공합니다. 광범위한 언어 이해 작업을 위한 새로운 모델 사전 학습 및 기존 모델 미세 조정 모두에 대한 포괄적인 코드를 포함합니다. 지원되는 작업에는 GLUE, SQuAD 및 RACE와 같은 인기 있는 벤치마크가 포함되어 NLP 연구원 및 개발자를 위한 다목적 도구입니다.
fairseq 코드베이스를 활용하여 설치가 간단합니다. 사용자는 pip를 통해 필요한 구성 요소를 설치할 수 있습니다. 이 툴킷은 PyTorch Transformers, SciPy 및 Scikit-learn이 필요합니다. 사전 학습 프로세스에는 토큰화 및 이진화를 포함한 데이터 전처리가 포함되며, 이어서 제공된 스크립트 및 구성을 사용하여 MPNet 모델의 실제 사전 학습이 진행됩니다.
MPNet은 사전 학습 접근 방식에서 유연성을 제공합니다. 사용자는 각각 마스크 언어 모델 또는 순열 언어 모델을 학습하기 위해 MLM 또는 PLM과 같은 입력 모드를 지정할 수 있습니다. 고급 옵션에는 모델 아키텍처 및 명령줄 인수를 조정하여 상대 위치 임베딩 및 전체 단어 마스킹 사용이 포함됩니다. 이 프로젝트는 다운스트림 작업에 대한 직접 미세 조정을 위해 업데이트된 사전 학습된 MPNet 모델도 제공합니다.
이 프로젝트는 fairseq-0.8.0을 기반으로 구축되었으며, 이에 대한 기여를 인정합니다. 툴킷이 유용하다고 생각하는 분들을 위해 MPNet 논문에 대한 인용 세부 정보가 제공됩니다. 관련 작업 및 대체 사전 학습 프레임워크도 나열되어 NLP 연구 환경 내에서 더 넓은 맥락을 제공합니다. 이 리포지토리는 언어 이해 기능을 발전시키는 데 유용한 리소스 역할을 합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드, 셀프 호스팅
- 플랫폼Linux, macOS, Windows
MPNet의 핵심 기능
마스크 및 순열 사전 학습 방법
BERT 및 XLNet 대비 정확도 향상
사전 학습 모델 통합 구현 (BERT, XLNet, MPNet)
사전 학습 및 미세 조정을 위한 코드
GLUE, SQuAD, RACE 벤치마크 지원
fairseq 코드베이스 기반
업데이트된 사전 학습 모델 제공
MLM 및 PLM 입력 모드 지원
상대 위치 임베딩 옵션
전체 단어 마스킹 옵션
MPNet 시작하기
종속성 설치: pip install fairseq pytorch_transformers==1.0.0 transformers scipy sklearn
데이터 전처리: encode.py를 사용하여 코퍼스를 토큰화하고 fairseq-preprocess를 사용하여 이진화
MPNet 사전 학습: 총 업데이트 횟수, 학습률, 배치 크기 등에 대한 지정된 매개변수로 fairseq-train 실행
사전 학습된 모델 로드: fairseq.models.masked_permutation_net에서 MPNet.from_pretrained 사용
다운스트림 작업 미세 조정: GLUE 또는 SQuAD와 같은 특정 NLP 작업에 대해 사전 학습된 모델 조정
MPNet의 사용 사례
- 언어 이해
- 사전 학습 모델
- NLP 모델 미세 조정
- 벤치마크 성능
- NLP 연구
