설명
NVIDIA Nemotron 3.5 Lightning 30B A3B BF16은 NVIDIA에서 개발한 정교한 대형 언어 모델입니다. 이 모델은 MoE, Mamba-2 및 주의 메커니즘을 결합한 하이브리드 아키텍처를 특징으로 하며, 총 300억 개의 매개변수를 가지고 있으며, 그 중 30억 개가 활성화되어 있습니다. 이 모델은 BF16 정밀도로 작동하여 작업 처리에서 높은 정확성을 보장합니다. 단일 H100 GPU에서 배포될 때 최대 100만 개의 토큰까지 지원하는 컨텍스트 길이를 제공하여 방대한 데이터 입력을 처리하는 데 적합합니다.
더 읽기
이 모델은 매우 맞춤화 가능하도록 설계되어 있으며, 감독된 미세 조정, 강화 학습 및 증류와 같은 훈련 후 기술을 지원합니다. 이러한 유연성 덕분에 사용자는 특정 도메인에 모델을 적응시키고, 양자화된 변형을 생성하며, 전체 정밀도로 연구 및 평가를 수행할 수 있습니다. NVIDIA Nemotron 3.5 Lightning 30B A3B BF16은 광범위한 추론 및 복잡한 데이터 처리가 필요한 작업에 특히 적합합니다.
이 모델은 영어, 스페인어, 프랑스어, 독일어, 이탈리아어 및 일본어를 포함한 여러 언어와 다양한 코딩 언어를 지원합니다. NVIDIA Blackwell, Hopper 및 Ampere 시리즈 GPU에서 배포에 최적화되어 있습니다. 또한 특정 사용 사례에서 효율성을 높이기 위해 낮은 동시성 데이터 센터 배포를 위한 추측 디코딩 기능도 포함되어 있습니다.
OpenMDW 라이선스 계약 버전 1.1에 따라 출시된 NVIDIA Nemotron 3.5 Lightning 30B A3B BF16은 전 세계적으로 배포 가능합니다. 이는 맞춤화, 도메인 적응 및 고정밀 연구를 위해 고급 AI 기능을 활용하려는 조직에 이상적입니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 하이라이트
300억 개의 매개변수
BF16 정밀도
MoE, Mamba-2 및 주의 하이브리드 아키텍처
최대 100만 개의 토큰 지원
훈련 후 맞춤화 가능
여러 언어 지원
NVIDIA 하드웨어에 최적화
추측 디코딩 기능
NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 시작하기
모델 페이지 접근: Hugging Face 모델 페이지 방문
인증: Hugging Face 계정에 로그인
구성: 원하는 매개변수로 모델 설정
프롬프트 전송: 처리할 데이터 입력
미세 조정: 특정 작업에 맞게 모델 맞춤화
NVIDIA Nemotron 3.5 Lightning 30B A3B BF16의 사용 사례
- 도메인 적응
- 연구 및 평가
- 맞춤화
- 다국어 지원
- 추측 디코딩
