설명
SmolLM3는 인공지능에서 소형 모델의 능력을 향상시키기 위해 개발된 30억 매개변수 언어 모델입니다. 이 모델은 이중 모드 추론을 지원하며, 영어, 프랑스어, 스페인어, 독일어, 이탈리아어, 포르투갈어의 6개 언어를 기본적으로 지원하는 다국어 모델입니다. 모델은 완전히 공개되어 있으며, 공개 가중치와 함께 공개 데이터 혼합 및 훈련 구성에 대한 포괄적인 세부정보를 제공합니다.
SmolLM3의 아키텍처는 GQA와 NoPE를 사용한 디코더 전용 변환기이며, 비율은 3:1입니다. 이 모델은 웹, 코드, 수학 및 추론 데이터를 포함한 단계적 커리큘럼을 사용하여 11.2조 개의 토큰으로 사전 훈련되었습니다. 훈련 후에는 1400억 개의 추론 토큰에 대한 중간 훈련이 진행되었으며, 이후 감독된 미세 조정 및 Anchored Preference Optimization (APO)을 통한 정렬이 이루어졌습니다.
SmolLM3는 하이브리드 추론에 최적화되어 있으며, 64k 컨텍스트에서 훈련되어 YARN 외삽을 사용하여 최대 128k 토큰을 처리할 수 있는 긴 컨텍스트 처리를 지원합니다. 이 모델은 vLLM 및 SGLang을 사용하여 배포할 수 있으며, OpenAI 형식 API와 호환됩니다. 또한 XML 또는 Python 함수 호출을 통해 다양한 도구와의 통합을 허용하는 도구 호출을 지원합니다.
로컬 추론을 위해 SmolLM3는 llama.cpp, ONNX, MLX, MLC 및 ExecuTorch와 함께 사용할 수 있습니다. 효율적인 배포를 위한 양자화된 체크포인트가 제공됩니다. 이 모델의 성능은 다양한 벤치마크에서 평가되었으며, 다국어 Q&A, 경쟁 프로그래밍 및 지침 따르기 작업에서 강력한 결과를 보여주었습니다.
SmolLM3는 다국어 및 복잡한 추론 작업을 활용하려는 개발자와 연구자에게 유용한 도구입니다. 그러나 사용자는 생성된 콘텐츠가 항상 사실적으로 정확하거나 훈련 데이터에 존재하는 편향으로부터 자유롭지 않을 수 있음을 인지해야 합니다.
SmolLM3 언어 모델 하이라이트
30억 매개변수 언어 모델
이중 모드 추론 지원
다국어: 6개 언어
최대 128k 토큰의 긴 컨텍스트 처리
공개 모델 및 공개 가중치
하이브리드 추론에 최적화된 지시 모델
도구 호출 지원
vLLM 및 SGLang과 호환
SmolLM3 언어 모델 시작하기
페이지 접근: Hugging Face 모델 페이지 방문
모델 로드: transformers v4.53.0 또는 최신 vllm 사용
환경 구성: 샘플링 매개변수 및 컨텍스트 길이 설정
통합: XML 또는 Python 함수로 도구 호출 사용
미세 조정: 감독된 미세 조정 및 정렬 적용
SmolLM3 언어 모델의 사용 사례
- 다국어 Q&A
- 하이브리드 추론
- 도구 통합
- 긴 컨텍스트 처리
- 지침 따르기
