설명
K2-Horizon-MoVA-36B-A4B는 복잡한 작업을 효율적으로 처리하도록 설계된 정교한 Mixture-of-Experts 모델로, Mixture-of-Values 주의를 통합하고 있습니다. K2-Horizon 패밀리의 일원으로, 360억 개의 매개변수를 저장하면서도 토큰당 40억 개를 실행할 수 있는 희소 아키텍처가 특징입니다. 이 모델은 체크포인트, 데이터 및 훈련 코드를 공개하여 인공지능의 민주화를 지원하는 오픈 소스 및 오픈 사이언스 이니셔티브에 기여하고 있습니다.
더 읽기
이 모델은 최전선급 결과를 달성하며, 특히 에이전틱 및 추론 벤치마크에서 뛰어난 성능을 보입니다. 약 300억 개의 매개변수를 가진 오픈 웨이트 밀집 모델과 15배까지 크기가 큰 MoE 모델을 능가하며, 폐쇄형 최전선 모델과도 효과적으로 경쟁합니다. 524,288 토큰의 기본 컨텍스트 창을 갖춘 K2-Horizon-MoVA-36B-A4B는 중간 훈련 단계부터 광범위한 컨텍스트 처리를 지원합니다.
중간 체크포인트가 제공되어 연구자들이 다양한 훈련 단계에서의 능력 변화를 연구할 수 있습니다. 모델의 훈련 데이터와 레시피, 훈련 코드는 완전히 공개되어 AI 연구의 투명성과 협업을 촉진합니다.
K2-Horizon-MoVA-36B-A4B는 Transformers 5.15.0, PyTorch 2.13.0 및 Safetensors 0.8.0으로 검증되었습니다. JSON, XML 및 XML-타입을 포함한 여러 도구 호출 형식을 지원하며, XML이 기본 형식입니다. 이 모델은 높은 추론 노력 설정으로 사용되도록 설계되어 다양한 응용 프로그램에서 최적의 성능을 보장합니다.
이 모델은 에이전틱 도구 사용, 터미널 사용, 과학적 코딩 및 대학원 수준의 과학 QA를 포함한 다양한 응용 프로그램에 적합합니다. 특히 긴 컨텍스트 추론 및 사실 정확성을 유지하는 데 효과적이며, AI 커뮤니티의 연구자 및 개발자에게 귀중한 도구가 됩니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
K2-Horizon-MoVA-36B-A4B 하이라이트
Mixture-of-Experts 아키텍처
Mixture-of-Values 주의
360억 개의 매개변수
40억 개의 활성 매개변수
오픈 소스 체크포인트 및 데이터
512K 컨텍스트 창
중간 체크포인트 사용 가능
Transformers 및 PyTorch로 검증됨
K2-Horizon-MoVA-36B-A4B 시작하기
모델 페이지에 접근: Hugging Face 방문
인증: 계정에 로그인
구성: reasoning_effort를 높음으로 설정
프롬프트 전송: 추천 설정으로 API 사용
미세 조정: 사용 가능한 체크포인트 활용
K2-Horizon-MoVA-36B-A4B의 사용 사례
- 에이전틱 도구 사용
- 터미널 사용
- 과학적 코딩
- 대학원 수준 QA
- 긴 컨텍스트 추론









