SpanBERT

MPNet

AI GitHub 저장소

BERT와 XLNet을 개선한 언어 이해 작업을 위한 새로운 사전 학습 방법입니다. 다양한 사전 학습 모델에 대한 통합 구현을 제공하며, GLUE 및 SQuAD와 같은 다양한 언어 이해 작업에 대한 사전 학습 및 미세 조정을 위한 코드를 지원합니다.MPNet은 BERT와 XLNet을 개선한 언어 이해 작업을 위한 새로운 사전 학습 방법입니다. 다양한 사전 학습 모델에 대한 통합 구현을 제공하며, GLUE 및 SQuAD와 같은 다양한 언어 이해 작업에 대한 사전 학습 및 미세 조정을 위한 코드를 지원합니다.

ConvBERT

AI GitHub 저장소

스팬 기반 동적 컨볼루션이라는 새로운 아키텍처를 도입한 오픈 소스 언어 모델 사전 학습 AI 모델입니다. 이 GitHub 리포지토리는 V100 GPU에서 테스트된 ConvBERT 모델의 사전 학습 및 미세 조정을 위한 코드를 제공하며, TensorFlow 사용 지침을 포함합니다.ConvBERT는 스팬 기반 동적 컨볼루션이라는 새로운 아키텍처를 도입한 오픈 소스 언어 모델 사전 학습 AI 모델입니다. 이 GitHub 리포지토리는 V100 GPU에서 테스트된 ConvBERT 모델의 사전 학습 및 미세 조정을 위한 코드를 제공하며, TensorFlow 사용 지침을 포함합니다.

DeBERTa - Microsoft Research

AI 모델

Microsoft Research에서 개발한 대규모 사전 학습 언어 모델입니다. T5 11B 모델보다 뛰어난 성능을 보이며 SuperGLUE 벤치마크에서 인간 수준의 결과를 달성했습니다. 이 고급 모델은 자연어 이해 작업에 상당한 기능을 제공합니다.DeBERTa는 Microsoft Research에서 개발한 대규모 사전 학습 언어 모델입니다. T5 11B 모델보다 뛰어난 성능을 보이며 SuperGLUE 벤치마크에서 인간 수준의 결과를 달성했습니다. 이 고급 모델은 자연어 이해 작업에 상당한 기능을 제공합니다.

XLM-RoBERTa Base

AI 모델

100개 언어에 걸쳐 2.5TB의 데이터로 사전 훈련된 다국어 모델입니다. 시퀀스 분류 및 토큰 분류와 같은 작업에서 뛰어난 성능을 발휘하여 다양한 자연어 처리 애플리케이션에 유용한 도구입니다.XLM-RoBERTa는 100개 언어에 걸쳐 2.5TB의 데이터로 사전 훈련된 다국어 모델입니다. 시퀀스 분류 및 토큰 분류와 같은 작업에서 뛰어난 성능을 발휘하여 다양한 자연어 처리 애플리케이션에 유용한 도구입니다.

DeepSeek-V3

AI GitHub 저장소

DeepSeek에서 제공하는 오픈 가중치 Mixture-of-Experts 언어 모델로, 총 6710억 개의 매개변수와 토큰당 370억 개의 활성화된 매개변수를 가지고 있습니다. 14.8조 개의 토큰으로 사전 훈련되었으며, 128K의 컨텍스트 길이를 지원합니다. GitHub와 Hugging…DeepSeek-V3는 DeepSeek에서 제공하는 오픈 가중치 Mixture-of-Experts 언어 모델로, 총 6710억 개의 매개변수와 토큰당 370억 개의 활성화된 매개변수를 가지고 있습니다. 14.8조 개의 토큰으로 사전 훈련되었으며, 128K의 컨텍스트 길이를 지원합니다. GitHub와 Hugging…

BERT 다국어 모델

LLM

#46

100개 이상의 언어를 지원하는 두 가지 다국어 모델(Cased 및 Uncased)을 제공합니다. Cased 모델은 라틴 문자 이외의 알파벳과 일반적인 용도에 권장되며, Uncased 모델은 이전 버전입니다. 이 모델들은 자연어 이해 작업을 위해 설계되었으며 특정 애플리케이션에 맞게 미세…BERT는 100개 이상의 언어를 지원하는 두 가지 다국어 모델(Cased 및 Uncased)을 제공합니다. Cased 모델은 라틴 문자 이외의 알파벳과 일반적인 용도에 권장되며, Uncased 모델은 이전 버전입니다. 이 모델들은 자연어 이해 작업을 위해 설계되었으며 특정 애플리케이션에 맞게 미세…

BERT base uncased

AI 모델

BERT 기본 모델(대소문자 구분 없음)은 영어를 이해하기 위해 설계된 사전 훈련된 변환기 모델입니다. 이 모델은 마스킹된 언어 모델링과 다음 문장 예측을 활용하여 맥락적 관계를 학습하여 다양한 NLP 작업에 적합합니다.

google/bigbird-roberta-base

AI 모델

BigBird 기본 모델은 블록 희소 어텐션을 사용하여 훨씬 긴 시퀀스를 처리하도록 BERT를 확장한 트랜스포머입니다. 마스크 언어 모델링을 위해 영어 텍스트로 사전 학습되었으며 최대 4096 토큰의 시퀀스를 효율적으로 처리하여 긴 문서 작업에서 최첨단 결과를 달성합니다.