설명
Hy3는 Tencent Hy 팀이 개발한 정교한 혼합 전문가(MoE) 모델로, 총 2950억 개의 매개변수와 210억 개의 활성 매개변수, 38억 개의 MTP 레이어 매개변수를 특징으로 합니다. Hy3 미리보기 이후 출시된 이 모델은 50개 이상의 제품에서 받은 피드백을 바탕으로 개선되었으며, 고품질 데이터로 후속 훈련을 통해 성능이 향상되었습니다. Hy3는 유사한 크기의 모델을 능가하며, 2-5배 더 많은 매개변수를 가진 주요 오픈 소스 모델과 경쟁합니다.
더 읽기
이 모델은 코딩, 사무 작업, 재무 모델링, 프론트엔드 디자인 및 게임 개발을 포함한 다양한 생산성 작업에서 상당한 유용성 향상을 보여줍니다. 이러한 분야에서 신뢰할 수 있는 성능을 원하는 사용자에게 비용 효율적인 옵션입니다. Hy3의 아키텍처는 MTP를 제외한 80개의 레이어, 1개의 MTP 레이어, 64개의 주의 헤드 및 4096의 숨겨진 크기를 포함하며, 256K의 맥락 길이와 120,832의 어휘 크기를 지원합니다.
Hy3의 성능은 공개 벤치마크로 완전히 포착되지 않기 때문에 270명의 전문가와 함께 블라인드 평가를 실시했으며, 4점 만점에 2.67점을 기록하여 GLM-5.1을 능가했습니다. 이 모델은 프론트엔드 개발, 데이터 및 저장소, CI/CD 작업에서 뛰어난 성능을 발휘합니다. 안정성, 지식 유지 및 다중 턴 의도 추적의 개선이 이루어져 환각 비율과 상식 오류가 크게 감소했습니다.
Hy3는 오픈 소스이며, 모델 가중치는 Hugging Face, ModelScope, GitCode 및 CNB와 같은 플랫폼에서 사용할 수 있습니다. vLLM 또는 SGLang을 사용하여 배포를 지원하며, 포괄적인 모델 미세 조정 파이프라인을 제공합니다. 이 모델은 Apache License 2.0에 따라 출시되었습니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
Hy3 하이라이트
295B 총 매개변수
혼합 전문가 아키텍처
21B 활성 매개변수
3.8B MTP 레이어 매개변수
MTP를 제외한 80개 레이어
64개 주의 헤드
256K의 맥락 길이
120,832의 어휘 크기
오픈 소스
미세 조정 지원
Hy3 시작하기
모델 페이지에 접근: Hugging Face의 Hy3 페이지 방문
인증: Hugging Face 계정에 로그인
구성: 모델 매개변수 및 기본 설정 설정
프롬프트 전송: 입력을 사용하여 모델과 상호작용
미세 조정: 특정 작업에 맞게 모델 조정
Hy3의 사용 사례
- 코딩 지원
- 사무 자동화
- 재무 모델링
- 프론트엔드 디자인
- 게임 개발
