설명
NVIDIA Nemotron 3.5 Super VL은 Hugging Face에서 호스팅되는 정교한 대형 언어 모델입니다. 텍스트, 이미지 및 비디오를 포함한 다양한 입력을 처리하도록 설계되었으며, 주로 텍스트 형식으로 출력됩니다. 이 모델은 Mamba-2–Transformer 하이브리드 아키텍처를 기반으로 하며, 멀티모달 데이터를 효율적으로 처리할 수 있도록 C-RADIO 비전 인코더를 통합하고 있습니다.
더 읽기
총 1200억 개의 매개변수를 가지고 있으며, 그 중 120억 개가 활성화된 Nemotron 3.5 Super VL은 사용자 맞춤화 및 도메인 적응이 필요한 작업에서 높은 성능을 발휘하도록 설계되었습니다. 최대 100만 개의 토큰까지 지원하는 컨텍스트 길이를 제공하여 대규모 데이터 처리 작업에 적합합니다. 이 모델은 BF16 정밀도로 작동하여 출력의 높은 정확성을 보장합니다.
Nemotron 3.5 Super VL의 배포는 4× H100 또는 2× GB200 하드웨어 구성 중 하나를 사용하여 이루어질 수 있으며, 사용 가능한 리소스에 따라 유연성을 제공합니다. 이 모델은 기본 멀티 토큰 예측을 통한 추측 디코딩을 지원하여 출력 생성의 효율성을 높입니다.
Nemotron 3.5 Super VL은 전체 정밀도 평가가 필요한 작업에 특히 추천됩니다. 사용자가 필요에 따라 사고 모드를 활성화하거나 비활성화할 수 있도록 채팅 템플릿을 통해 구성 가능한 추론 모드를 제공합니다. 텍스트에 대한 추천 샘플링 설정은 온도 1.0 및 top_p 0.95이며, 비전 작업의 경우 온도 0.6 및 top_p 0.95가 제안됩니다.
이 모델은 오픈 소스 사용 및 협업을 촉진하는 OpenMDW-1.1 라이센스 하에 제공됩니다. 여러 다른 모델과 비교하여 벤치마킹이 이루어졌으며, GPQA-Diamond, HLE 및 MMLU-ProX를 포함한 다양한 작업에서 경쟁력 있는 성능을 보여주고 있습니다. 이러한 벤치마크는 복잡한 추론 및 데이터 처리 작업을 처리하는 능력을 강조합니다.
전반적으로 NVIDIA Nemotron 3.5 Super VL은 멀티모달 데이터 처리 및 분석을 위한 고급 AI 기능을 활용하고자 하는 개발자 및 연구자에게 다재다능한 도구입니다.
- 카테고리AI 모델 및 LLM
- 배포4× H100 or 2× GB200
- 플랫폼웹
NVIDIA Nemotron 3.5 Super VL 하이라이트
Mamba-2–Transformer 하이브리드 아키텍처
C-RADIO 비전 인코더
1200억 개의 매개변수
BF16 정밀도
최대 100만 개의 토큰까지 지원하는 컨텍스트 길이
멀티 토큰 예측을 통한 추측 디코딩
구성 가능한 추론 모드
OpenMDW-1.1 라이센스
NVIDIA Nemotron 3.5 Super VL 시작하기
모델 페이지에 접근: Hugging Face 방문
인증: 계정에 로그인
구성: 하드웨어 및 매개변수 설정
프롬프트 전송: 텍스트, 이미지 또는 비디오 데이터 입력
미세 조정: 특정 작업에 맞게 설정 조정
NVIDIA Nemotron 3.5 Super VL의 사용 사례
- 텍스트 처리
- 이미지 분석
- 비디오 처리
- 도메인 적응
- 전체 정밀도 평가
