설명
Inkling 2 Mini는 텍스트와 이미지 입력을 처리하여 텍스트 출력을 생성하도록 설계된 다재다능한 다중 모달 모델입니다. Thinking Machines Lab, Inc.에서 개발한 이 모델은 광범위한 적용 가능성을 위해 설계되었으며, 영어 및 기타 언어, 여러 코딩 언어를 지원합니다. AI 기반 애플리케이션을 개발하는 개발자에게 특히 적합하며, 에이전트 및 도구 사용 시스템, 코딩 도우미, 챗봇, 검색 증강 생성(RAG) 시스템을 포함합니다. 또한 일반적인 대화 사용, 지시 따르기 및 다양한 자연어 및 시각적 작업을 수행할 수 있습니다.
더 읽기
이 모델은 Apache 2.0 라이선스 하에 공개 가중치로 출시되어 연구, 미세 조정 및 하위 개발자에 의한 제3자 제품 통합을 장려합니다. 약 20GB의 단일 체크포인트로 배포되며, 혼합 NVFP4 및 MXFP8 정밀도를 사용합니다. 이 컴팩트한 크기는 1x NVIDIA DGX Spark, 32GB 이상의 메모리를 가진 Apple 실리콘 장치(맥북, 맥 미니, 스튜디오) 및 권장 VRAM 32GB 이상의 기타 GPU에서 로컬 추론을 가능하게 합니다.
Inkling 2 Mini는 Hugging Face, SGLang, vLLM, TokenSpeed, NVIDIA Dynamo, Unsloth(양자화된 GGUF 버전 포함), llama.cpp(양자화된 GGUF 버전용), Llama App, Ollama 및 Exo Labs(Apple 실리콘에서)와 같은 여러 프레임워크를 통해 로컬 추론을 지원합니다. Miles 및 SkyRL로 후속 훈련할 수도 있습니다. 이 모델은 희소 혼합 전문가(MoE) 피드포워드 레이어를 갖춘 24층 디코더 전용 변환기 아키텍처를 특징으로 합니다. 중간 12층은 공유 가중치로 세 번 실행되어 24층의 가중치에서 각 토큰당 48층 응용 프로그램을 효과적으로 제공합니다. 각 층은 128명의 전문가 중 8명에게 토큰을 라우팅하며, 주의(attention)는 지역 및 글로벌 층의 하이브리드입니다. 이미지는 비전 변환기를 통해 인코딩되며, 이미지 및 텍스트 입력은 디코더에 의해 공동 처리되기 위해 공유된 숨겨진 공간으로 투영됩니다. 이 모델은 264억 개의 매개변수를 가지며, 34억 개의 활성 매개변수를 가지고 있으며, 최대 100만 개의 토큰에 대한 컨텍스트 창을 지원합니다.
Inkling 2 Mini의 훈련 데이터는 공개적으로 사용 가능한 리포지토리, 제3자 인수, 내부 생성 및 합성 증강에서 수집된 텍스트, 이미지 및 비디오를 포함한 다양한 콘텐츠 유형을 포괄합니다. 데이터 큐레이션에는 중복 제거 및 품질 및 안전성을 위한 필터링을 포함하여 데이터 세트를 정리, 처리 및 수정하는 작업이 포함됩니다. 안전성 평가가 수행되었으며, 일상적인 인간-AI 상호작용 및 위험한 기능 테스트를 포함하여 완화 조치가 정렬 훈련을 통해 적용되었습니다. 모델의 한계에는 잠재적인 환각, 간헐적인 지시 따르기 실패, 긴 대화에서의 성능 저하 및 훈련 데이터의 편향이 포함됩니다. 사실 회상 및 지식 중심 질문에서 더 큰 모델보다 능력이 떨어지며, 특히 비영어 언어에서 반복적인 추론이나 에이전트 신뢰성 부족을 보일 수 있습니다. 개발자는 인간의 감독을 적용하고, 에이전트 작업을 샌드박스에서 실행하며, 배포 전에 독립적인 평가를 수행할 것을 권장합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포로컬 실행
- 플랫폼웹
Inkling 2 Mini 하이라이트
다중 모달 입력: 텍스트와 이미지 입력을 모두 수용하여 처리합니다.
텍스트 출력 생성: 다중 모달 입력에 기반하여 텍스트 출력을 생성합니다.
범용 모델: 다양한 애플리케이션 및 작업을 위해 설계되었습니다.
다국어 지원: 영어 및 기타 언어에서 작동합니다.
다양한 코딩 언어 지원: 여러 코딩 환경에서 호환됩니다.
공개 가중치 출시: 다운로드 및 사용을 위한 공개 가중치가 제공됩니다.
Apache 2.0 라이선스: 연구, 미세 조정 및 통합을 위한 유연성을 제공합니다.
개발자 중심: AI 기반 애플리케이션 구축을 위한 것입니다.
에이전트 시스템 지원: 에이전트 및 도구 사용 시스템 개발에 적합합니다.
코딩 도우미 기능: 코딩 도우미를 만드는 데 사용할 수 있습니다.
챗봇 통합: 챗봇 개발을 용이하게 합니다.
검색 증강 생성(RAG) 시스템: RAG 시스템 생성을 지원합니다.
로컬 추론 기능: 지정된 하드웨어에서 로컬 AI 컴퓨팅을 실행할 수 있습니다.
광범위한 프레임워크 지원: Hugging Face, SGLang, vLLM 등과 호환됩니다.
후속 훈련 옵션: Miles 및 SkyRL로 후속 훈련할 수 있습니다.
대규모 컨텍스트 창: 최대 100만 개의 토큰을 지원합니다.
Inkling 2 Mini 시작하기
모델 가중치 다운로드: Hugging Face에서 Inkling 2 Mini 가중치를 액세스하고 다운로드합니다.
Tinker 플랫폼을 통한 접근: API 접근 및 모델 상호작용을 위해 Tinker 미세 조정 플랫폼을 활용합니다.
Tinker 렌더러 설치: Tinker 플랫폼 통합을 위해 tml-renderers 패키지를 설치합니다.
로컬 하드웨어 구성: 필요한 하드웨어(예: NVIDIA DGX Spark, 32GB 이상의 메모리를 가진 Apple 실리콘)가 준비되어 있는지 확인합니다.
소프트웨어 프레임워크 설치: Hugging Face, SGLang 또는 llama.cpp와 같은 지원되는 로컬 추론 프레임워크를 설정합니다.
추론 실행: 선택한 프레임워크를 사용하여 이미지 및 텍스트 입력에서 텍스트 생성을 위해 모델을 로컬에서 실행합니다.
Inkling 2 Mini의 사용 사례
- AI 애플리케이션 개발
- 에이전트 시스템 생성
- 코딩 도우미 도구
- 챗봇 구현
- 검색 증강 생성
- 일반 대화형 AI
- 자연어 처리
- 시각적 작업 처리
- 모델 미세 조정
- 제3자 제품 통합







