설명
Hy4 Preview는 Tencent Hy 팀이 개발한 최첨단 전문가 혼합(MoE) 모델입니다. 총 7700억 개의 매개변수를 자랑하며, 토큰당 490억 개가 활성화됩니다. 모델의 아키텍처는 78개의 레이어로 구성되어 있으며, 각 레이어는 256개의 라우팅된 전문가와 하나의 공유 전문가를 포함하는 밀집 FFN 및 MoE 레이어의 조합을 활용합니다. 이 설계는 토큰당 상위 8개의 라우팅된 전문가를 활성화할 수 있게 하여 처리 능력을 향상시킵니다.
더 읽기
모델은 효율적인 크로스 레이어 희소 인덱스 재사용을 위해 인덱스 캐시와 함께 Gated DeepSeek Sparse Attention(Gated DSA)을 사용합니다. 잔여 경로는 정체성 하이퍼 연결(iHC)을 사용하여 레이어 간 정보 흐름을 개선합니다. Hy4 Preview는 모델 크기, 컨텍스트 길이 및 훈련 데이터 측면에서 확장되어 오픈 소스 AI 모델의 선두주자가 되었습니다.
Hy4 Preview는 소프트웨어 엔지니어링, 게임 개발 및 과학 연구를 포함한 다양한 분야에서 뛰어난 성능을 발휘하도록 설계되었습니다. 소프트웨어 엔지니어링에서는 장기적인 작업을 이해하고 계획하며 디버깅하고 검증하는 데 도움을 줍니다. 게임 개발에서는 단일 프롬프트를 플레이 가능한 프로토타입으로 변환하며, 게임 엔진과 원활하게 작동합니다. 사무 및 분석 작업에서는 복잡한 컨텍스트를 문서 및 스프레드시트와 같은 공유 가능한 아티팩트로 변환합니다. 과학 연구에서는 강력한 추론 및 문제 해결 능력을 제공합니다.
이 모델은 오픈 소스이며 Hugging Face, ModelScope, GitCode 및 CNB와 같은 플랫폼에서 사용할 수 있습니다. vLLM 또는 SGLang을 사용하여 배포를 지원하며 포괄적인 모델 미세 조정 파이프라인을 제공합니다. Hy4 Preview는 Apache License 2.0에 따라 출시되어 다양한 응용 프로그램에 대한 접근성과 적응성을 보장합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
Hy4 Preview 하이라이트
전문가 혼합 아키텍처
7700억 개의 매개변수
Gated DeepSeek 희소 주의
정체성 하이퍼 연결
오픈 소스
미세 조정 지원
추측 디코딩
Hugging Face에서 사용 가능
Hy4 Preview 시작하기
모델 페이지에 접근: 공식 Hugging Face 페이지 방문
인증: 로그인하거나 계정 생성
구성: 모델 매개변수 및 환경 설정
프롬프트 전송: API 호출을 사용하여 모델과 상호작용
미세 조정: 특정 작업에 맞게 모델 사용자 정의
Hy4 Preview의 사용 사례
- 소프트웨어 엔지니어링
- 게임 개발
- 사무 분석
- 과학 연구
- AI 연구
