설명
AliceAI-Foundation-80B-A3B-Base는 Yandex에서 개발한 기초 언어 모델로, Hugging Face에서 호스팅됩니다. 이 모델은 전문가 혼합(Mixture of Experts, MoE) 레이어를 포함한 하이브리드 아키텍처로 설계되었으며, 총 800억 개의 매개변수를 자랑하며, 각 토큰에 대해 30억 개의 활성 매개변수를 사용합니다. 이 모델은 최대 262,144 토큰의 컨텍스트 길이를 지원하여 방대한 텍스트 입력을 처리하는 데 적합합니다.
더 읽기
이 모델은 처음부터 훈련되었으며, 새롭게 구성된 훈련 말뭉치와 신중하게 선택된 아키텍처 및 하이퍼파라미터를 사용했습니다. 특히 러시아어의 사실적 지식 작업에서 강력한 성능을 보이며, 이 분야에서 더 큰 오픈 소스 모델보다 우수한 성능을 발휘합니다. 모델의 성능은 러시아어 맥락에 초점을 맞춘 WikiWebFacts 및 HardMultiQA와 같은 벤치마크를 통해 검증되었습니다.
AliceAI-Foundation-80B-A3B-Base는 현재 사전 훈련 단계에 있는 자기 회귀 언어 모델입니다. 이 모델은 2048의 숨겨진 상태 크기, 129,024의 어휘 크기, 48개의 레이어로 구성되어 있습니다. 모델의 아키텍처는 3개의 KDA 블록으로 구성된 12개의 MoE 레이어와 1개의 Gated Attention to MoE 레이어로 이루어져 있습니다.
모델의 기능은 다양한 벤치마크를 통해 입증되며, 수학, 프로그래밍 및 추론 작업에서 경쟁력 있는 결과를 보여줍니다. 특히 러시아어의 사실적 지식 작업에서 효과적이며, WikiWebFacts 및 HardMultiQA 벤치마크에서의 성능이 이를 입증합니다.
AliceAI-Foundation-80B-A3B-Base는 Transformers 라이브러리를 통해 사용 가능하며, 참조 버전은 5.16.1입니다. 또한 vLLM을 사용하여 배포할 수 있으며, 실행을 위해 Docker 및 NVIDIA Container Toolkit이 필요합니다. 이 모델은 특정 작업에 대한 추가적인 미세 조정 및 적응이 가능하며, 리포지토리에서 LoRA 미세 조정 지원이 제공됩니다.
이 모델은 주로 연구, 실험 및 추가 개발을 위해 설계되었습니다. 최종 사용자 제품 및 서비스에 대한 즉시 사용 가능한 솔루션이 아닙니다. 사용자는 모델을 프로덕션 환경에 배포하기 전에 자체 테스트를 수행하고 필요한 미세 조정 및 제어 조치를 구현할 것을 권장합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
AliceAI-Foundation-80B-A3B-Base 하이라이트
800억 개의 매개변수
토큰당 30억 개의 활성 매개변수
MoE 레이어가 포함된 하이브리드 아키텍처
최대 262,144 토큰의 컨텍스트 길이 지원
러시아어 사실적 지식 작업에서 강력한 성능
처음부터 사전 훈련됨
Transformers 및 vLLM을 통해 사용 가능
LoRA 미세 조정 지원
AliceAI-Foundation-80B-A3B-Base 시작하기
모델 페이지에 접근: Hugging Face 방문
인증: 계정에 로그인
구성: 모델 매개변수 설정
프롬프트 전송: 텍스트 쿼리 입력
미세 조정: 특정 작업에 모델 적응
AliceAI-Foundation-80B-A3B-Base의 사용 사례
- 사실적 지식 검색
- 수학 문제 해결
- 프로그래밍 지원
- 언어 이해
- 연구 및 개발
