설명
NVIDIA Nemotron 3.5 Bolt 74B는 Mamba-2–Transformer 하이브리드 아키텍처와 C-RADIO v4-H 비전 인코더를 통합한 정교한 대형 언어 모델입니다. 총 740억 개의 매개변수를 자랑하며, 90억 개가 활성화되어 있으며, 전체 정밀도 가중치를 위해 BF16 정밀도로 작동합니다. 이 모델은 최대 256K 토큰의 컨텍스트 길이를 처리할 수 있으며, 텍스트, 이미지 및 비디오 입력을 지원하고 텍스트 출력을 생성합니다. NVIDIA의 Ampere, Hopper 또는 Blackwell 하드웨어에서 배포되며, 효율적인 작업을 위해 vLLM을 활용합니다.
더 읽기
이 모델은 DFlash를 통한 LiLiCorr 드래프터를 통해 추측 디코딩에 최적화되어 있으며, 제공된 vLLM 레시피에서 7개의 추측 토큰을 생성합니다. Super 3.5 VL 클라이언트에서 상속된 채팅 템플릿 제어 기능을 갖춘 추론 모드를 특징으로 하며, 사용자 맞춤화, 후속 훈련 및 로컬 에이전틱 작업을 위한 양자화 변형 생성에 가장 적합합니다. 텍스트에 대한 권장 샘플링 설정은 온도 1.0 및 top_p 0.95입니다.
NVIDIA Nemotron 3.5 Bolt 74B는 OpenMDW-1.1 라이센스 하에 제공되어 추가 개발 및 통합을 위한 개방형 접근을 보장합니다. 이 모델은 GDPVal-AA-V2, Terminal-Bench 2.1 등 다양한 테스트에서 벤치마킹되었으며, 경쟁력 있는 성능 지표를 보여주고 있습니다. 특히 다중 턴 도구 상호작용이 필요한 작업에서 효과적이며, MCP 사용 능력에서 개선을 보였습니다.
훈련 방법론은 MCP 및 SWE 작업을 목표로 하는 여러 에이전틱 환경을 포함합니다. 모델의 기초는 Nemotron 3 코퍼스에 기반하고 있으며, 여기에는 Nemotron-CC-v2 및 Nemotron-Pretraining-Code-v1과 같은 데이터 세트가 포함됩니다. NVIDIA는 훈련에 사용자 소스 데이터를 사용하지 않았음을 보장하여 개인 정보 보호 및 데이터 무결성을 유지하고 있습니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포NVIDIA Ampere, Hopper, Blackwell
- 플랫폼웹
NVIDIA Nemotron 3.5 Bolt 74B 하이라이트
Mamba-2–Transformer 하이브리드 아키텍처
C-RADIO v4-H 비전 인코더
740억 개의 매개변수
BF16 정밀도
최대 256K 토큰의 컨텍스트 길이
LiLiCorr 드래프터를 통한 추측 디코딩
채팅 템플릿 제어 기능을 갖춘 추론 모드
OpenMDW-1.1 라이센스
NVIDIA Nemotron 3.5 Bolt 74B 시작하기
모델 페이지 접근: NVIDIA Nemotron 3.5 Bolt 74B의 Hugging Face 모델 페이지를 방문하세요.
인증: 모델에 접근하기 위한 필요한 자격 증명이 있는지 확인하세요.
구성: 필요에 따라 모델 매개변수 및 환경을 설정하세요.
프롬프트 전송: 모델에 텍스트, 이미지 또는 비디오 데이터를 입력하여 처리하세요.
미세 조정: 특정 작업이나 응용 프로그램에 맞게 모델을 사용자 맞춤화하세요.
NVIDIA Nemotron 3.5 Bolt 74B의 사용 사례
- 사용자 맞춤화
- 후속 훈련
- 양자화 변형
- 다중 턴 상호작용
- 텍스트 처리
