설명
Mistral Large 4는 "Le Chonk"로도 알려져 있으며, Mistral의 가장 진보되고 유능한 모델을 나타냅니다. 이 모델은 1조 개의 매개변수를 가진 네이티브 다중 모달 혼합 전문가 모델로, 토큰당 490억 개의 활성 매개변수(임베딩 및 출력 레이어 포함 시 520억 개)를 특징으로 합니다. 이 모델은 Mistral의 유럽 데이터 센터 내에서 3,800개의 NVIDIA Grace Blackwell GPU를 사용하여 처음부터 훈련되어 강력한 성능과 확장성을 보장합니다.
더 읽기
이 일반 모델은 지침 따르기, 추론, 코딩 및 에이전트 워크플로우를 단일 가중치 집합으로 통합합니다. 다양한 분야에서 다재다능하지만, Mistral Large 4는 사이버 보안, 금융 및 법률과 같은 전문 분야에서 뛰어난 성능을 보여줍니다. 또한 시각적 기초 능력에서 최첨단 폐쇄 모델을 초월하여 이미지 분석과 관련된 작업에 매우 효과적입니다.
Mistral Large 4의 주요 강점은 160개 이상의 언어에 대한 네이티브 유창성을 갖추고 있으며, 유럽 연합의 모든 공식 언어를 포함합니다. 이러한 광범위한 언어 지원은 글로벌 응용 프로그램에 강력한 도구가 됩니다. 이 모델은 상당한 1M의 컨텍스트 길이를 특징으로 하여 긴 컨텍스트 작업을 효율적으로 처리할 수 있습니다. 다중 모달 입력 기능을 통해 텍스트와 이미지 입력을 모두 수용하고 텍스트 출력을 생성할 수 있습니다.
구조적으로 Mistral Large 4는 128개의 라우팅된 전문가를 가진 세분화된 혼합 전문가 설계를 사용하며, 토큰당 4개의 전문가가 활성화되고 1개의 공유 전문가가 있습니다. 또한, 목표 모델의 출력을 변경하지 않고 디코딩 속도를 크게 높일 수 있는 내장된 DSpark 추측 디코딩 초안 헤드를 포함하고 있어 특정 시나리오에서 최대 1.9배 높은 처리량을 제공합니다. 양자화된 NVFP4 체크포인트도 제공되어 메모리 사용량을 줄이고, 더 빠른 추론과 동등한 성능을 제공하며, 특히 Blackwell GPU를 대상으로 하고 vLLM 및 SGLang을 지원합니다.
Mistral Large 4는 상업적 및 비상업적 사용을 허용하는 수정된 MIT 라이센스인 Mistral Ecosystem Open-Weight License 하에 출시됩니다. 그러나 Mistral Large 4로 모델을 서비스로 운영하려면 Mistral로부터 별도의 상업적 라이센스가 필요합니다. 이 모델은 Mistral API에서 `mistral-large-4`로 제공되며, vLLM, SGLang, Transformers, llama.cpp, Axolotl, Unsloth 및 TRL과 같은 다양한 라이브러리를 사용하여 배포 및 미세 조정할 수 있습니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
Mistral Large 4 하이라이트
1조 개의 총 매개변수
토큰당 520억 개의 활성 매개변수
네이티브 다중 모달 입력(텍스트 및 이미지)
100만의 컨텍스트 길이
다국어 지원(160개 이상의 언어)
구성 가능한 추론 모드(낮음, 중간, 높음)
이미지 분석을 위한 고급 비전 기능
강력한 시스템 프롬프트 준수
네이티브 함수 호출 및 JSON 출력
엄격한 JSON 스키마 강제 적용
최첨단 사이버 보안 성능
내장된 DSpark 추측 디코딩 초안 헤드
양자화된 NVFP4 체크포인트 제공
상업적 및 비상업적 사용을 위한 오픈 웨이트 라이센스
Mistral Large 4 시작하기
모델 접근: Hugging Face에서 Mistral Large 4를 찾거나 Mistral API를 통해 접근합니다.
vLLM으로 배포: 공식 vLLM Docker 이미지를 사용하여 생산 준비가 완료된 추론을 위해 `--tool-call-parser mistral` 및 `--reasoning-parser mistral`과 같은 매개변수를 구성합니다.
SGLang으로 배포: 공식 SGLang Docker 이미지를 활용하여 `--speculative-algorithm DSPARK`로 추측 디코딩을 활성화합니다.
Transformers로 배포: 메인에서 Transformers를 설치하고 제공된 Python 추론 스니펫을 사용하여 여러 GPU에서 배포합니다.
모델 미세 조정: Axolotl, Unsloth 또는 TRL과 같은 라이브러리를 사용하여 Mistral Large 4를 미세 조정합니다.
Mistral Vibe와 통합: Mistral Vibe를 설치하고 Mistral API 또는 로컬 vLLM 서버를 통해 Mistral Large 4를 사용하도록 구성합니다.
추론 노력 구성: 프롬프트 복잡성에 따라 `reasoning_effort`를 '낮음', '중간' 또는 '높음'으로 설정합니다.
시스템 프롬프트 활용: 효과적인 도구 활용을 위해 명확한 환경과 사용 사례를 시스템 프롬프트로 정의합니다.
Mistral Large 4의 사용 사례
- 복잡한 에이전트 워크플로우
- 사이버 보안 분석
- 재무 모델링 및 분석
- 법률 문서 처리
- 다국어 커뮤니케이션
- 긴 컨텍스트 정보 검색
- 이미지 및 차트 분석
- 코드 생성 및 디버깅
- 지침 따르기 및 자동화
- 챗봇 및 대화형 AI
