설명
Inkling 2 Small은 텍스트와 이미지 입력을 처리하여 텍스트 출력을 생성할 수 있는 다재다능한 다중 모달 모델입니다. 광범위한 적용 가능성을 위해 설계되었으며, 영어 및 기타 언어와 다양한 코딩 언어를 지원합니다. 이 모델은 에이전트 및 도구 사용 시스템, 코딩 도우미, 챗봇 및 검색 증강 생성(RAG) 시스템과 같은 AI 기반 애플리케이션을 만드는 개발자를 위해 특별히 목표로 하고 있습니다. 또한 일반적인 대화 상호작용, 지시 따르기 및 다양한 자연어 및 시각적 작업에 적합합니다.
더 읽기
오픈 가중치로 출시된 Inkling 2 Small은 연구, 미세 조정 및 하위 개발자가 제3자 제품에 통합할 수 있도록 장려합니다. 사용자는 Tinker Playground에서 모델을 실험하거나 Tinker Cookbook을 통해 API를 통해 액세스할 수 있습니다. Tinker로 미세 조정하려면 tml-renderers 패키지가 필요합니다. 이 모델은 SGLang, vLLM, TokenSpeed 및 Unsloth와 같은 다양한 프레임워크를 통해 로컬 추론을 지원합니다. 또한 Miles, SkyRL 및 Snowflake Cortex Training으로 후속 훈련이 가능합니다. API 액세스는 NVIDIA, Fireworks, Together, Baseten, Nebius, Modal 및 Cloudflare와 같은 제3자 추론 제공자를 통해서도 가능합니다.
Inkling 2 Small의 하드웨어 요구 사항은 체크포인트 형식에 따라 다릅니다. 주요 NVFP4 체크포인트는 최소 500GB의 집합 VRAM을 갖춘 GPU 클러스터를 필요로 하며, 2x NVIDIA B300 GPU 또는 4x NVIDIA H200 GPU와 같은 구성으로 달성할 수 있습니다. 대안인 MXFP8 체크포인트는 최소 800GB의 집합 VRAM을 필요로 하며, 4x NVIDIA B300 GPU 또는 8x NVIDIA H200 GPU로 충족됩니다. NVFP4 체크포인트는 모델의 기본 정밀도로 모든 사용 사례에 권장되며 최적의 성능을 제공합니다.
구조적으로 Inkling 2 Small은 다중 모달 자기 회귀 변환기입니다. 48층 디코더 전용 변환기를 특징으로 하며, 희소 혼합 전문가(MoE) 피드 포워드 백본을 갖추고 있어 각 토큰이 384명의 전문가 중 8명에게 라우팅됩니다. 주의 메커니즘은 지역 및 글로벌 레이어를 결합합니다. 이 모델은 본래 다중 모달로, 비전 변환기를 통해 이미지를 인코딩하고 디코더에 의해 공동 처리되도록 이미지와 텍스트 입력을 공유된 숨겨진 공간으로 투영합니다. 최대 100만 개의 토큰을 지원하는 컨텍스트 창을 갖추고 있으며, UTF-8 인코딩의 텍스트와 픽셀 기반 이미지 형식(이상적으로는 각 차원에서 40px에서 4096px 사이)을 수용합니다. 출력은 UTF-8 인코딩된 텍스트로 생성됩니다.
Inkling 2 Small의 훈련 데이터는 공개적으로 사용 가능한 리포지토리, 제3자, 내부 생성 및 합성 증강에서 수집된 텍스트, 이미지 및 비디오와 같은 다양한 콘텐츠 유형을 포함합니다. 데이터 큐레이션 과정에는 중복 제거 및 품질 및 안전성을 위한 필터링을 포함하여 데이터 세트를 정리, 처리 및 수정하는 작업이 포함됩니다. 안전성 평가는 일상적인 인간-AI 상호작용 및 위험 능력 테스트를 통해 수행되었으며, 위험을 줄이기 위한 완화 조치가 적용되었습니다. 모델의 지식은 훈련 컷오프에 제한되며, 사용자는 환각 및 훈련 데이터의 편향과 같은 잠재적 제한으로 인해 고위험 애플리케이션에 대해 인간의 감독을 적용할 것을 권장합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드, 셀프 호스팅
- 플랫폼웹
Inkling 2 Small 하이라이트
다중 모달 입력: 텍스트와 이미지 입력을 모두 수용
텍스트 출력: UTF-8 인코딩된 텍스트 출력을 생성
범용 모델: 다양한 애플리케이션에 적합
다국어 기능: 영어 및 기타 언어 지원
다중 코딩 언어 지원: 다양한 코딩 언어에서 작동
오픈 가중치: 연구, 미세 조정 및 통합을 위해 제공
API 액세스: Tinker Cookbook 및 제3자 제공자를 통해 접근 가능
로컬 추론 지원: SGLang, vLLM, TokenSpeed, Unsloth와 호환
후속 훈련 옵션: Miles, SkyRL, Snowflake Cortex Training으로 후속 훈련 가능
자기 회귀 변환기: 48층 디코더 전용 아키텍처 사용
혼합 전문가(MoE): 384명의 전문가가 있는 희소 피드 포워드 백본
공유 숨겨진 공간: 이미지와 텍스트 입력을 공동으로 처리
컨텍스트 창: 최대 100만 개의 토큰 지원
높은 매개변수 수: 총 594B 매개변수, 17B 활성
Inkling 2 Small 시작하기
모델 액세스: Hugging Face의 Inkling 2 Small 페이지를 방문하세요.
플레이그라운드 시도: Tinker Playground에서 모델을 직접 실험해 보세요.
API를 통한 액세스: Tinker Cookbook을 사용하여 API를 통해 모델을 통합하세요.
모델 미세 조정: Inkling 2 Small을 Tinker로 미세 조정하려면 tml-renderers 패키지를 설치하세요.
로컬 추론: SGLang, vLLM, TokenSpeed 또는 Unsloth와 같은 프레임워크를 사용하여 로컬 배포를 활용하세요.
후속 훈련: Miles, SkyRL 또는 Snowflake Cortex Training으로 모델을 향상시키세요.
제공자와 함께 배포: NVIDIA 또는 Fireworks와 같은 제3자 추론 제공자를 통해 API에 액세스하세요.
하드웨어 구성: NVFP4 체크포인트의 경우 최소 500GB VRAM, MXFP8 체크포인트의 경우 최소 800GB VRAM을 갖춘 GPU 클러스터를 확보하세요.
Inkling 2 Small의 사용 사례
- AI 애플리케이션 구축
- 에이전트 시스템 개발
- 코딩 도우미
- 챗봇 생성
- 검색 증강 생성
- 일반 대화 사용
- 지시 따르기
- 시각적 작업
- 연구 및 실험
- 제3자 제품 통합
