설명
잉클링은 씽킹 머신스 연구소(Thinking Machines Lab, Inc.)에서 개발한 범용 다중 모달 AI 모델입니다. 총 9750억 개의 매개변수를 특징으로 하며, 410억 개의 활성 매개변수를 가지고 있으며, 텍스트, 이미지 및 오디오 입력을 수용하여 텍스트 출력을 생성하도록 설계되었습니다. 이 모델은 영어 및 기타 언어에서 사용될 수 있도록 설계되어 다양한 애플리케이션에 적합합니다. 개발자는 잉클링을 활용하여 에이전트 및 도구 사용 시스템, 코딩 도우미, 챗봇 및 검색 보강 생성 시스템과 같은 AI 기반 애플리케이션을 구축할 수 있습니다. 이 모델은 범용 대화 사용, 지시 따르기 및 기타 자연어 및 다중 모달 작업을 지원하도록 설계되었습니다. 잉클링은 오픈 가중치로 출시되어 하위 개발자가 연구, 미세 조정 및 제3자 제품에 통합할 수 있도록 합니다.
잉클링의 아키텍처는 희소 혼합 전문가(Mixture-of-Experts, MoE) 피드포워드 백본을 가진 66층 디코더 전용 변환기 기반입니다. 각 토큰은 256명의 전문가 중 6명에게 라우팅되며, 모든 토큰에서 2명의 공유 전문가가 활성화됩니다. 이 모델은 본래 다중 모달로, 계층적 패치 인코더를 통해 이미지를 인코딩하고 이산 토큰 인코딩을 통해 오디오를 인코딩합니다. 모든 모달리티는 공유된 숨겨진 공간으로 투영되어 디코더에 의해 공동으로 처리됩니다. 잉클링은 최대 100만 개의 토큰을 지원하는 컨텍스트 윈도우를 제공하여 방대한 입력 데이터를 처리할 수 있습니다.
잉클링은 Tinker를 통한 API 액세스를 통해 제공되며, 미세 조정을 위한 서비스와 제3자 추론 제공자를 통해 이용할 수 있습니다. 모델의 가중치는 Hugging Face에서 다운로드할 수 있습니다. 최적의 성능을 위해서는 상당한 VRAM을 갖춘 GPU 클러스터와 같은 특정 하드웨어 구성이 필요합니다. 이 모델은 다중 모달 상호작용과 관련된 위험을 완화하기 위해 광범위한 안전 평가를 거쳤으며, 기존의 오픈 가중치 모델을 초과하는 물질적 상승을 나타내지 않도록 보장합니다. 그러나 사용자는 잉클링을 고위험 상황에 배포할 때 추가적인 안전 장치와 인간의 감독을 구현할 것을 권장합니다.
잉클링 모델 카드 하이라이트
모델 유형: 다중 모달 자기 회귀 변환기
API 사용 가능: 예
라이센스: 아파치 2.0
매개변수: 총 975B, 활성 41B
미세 조정 지원: 예
다중 모달: 예
수치 지원: BF16, MXFP8, NVFP4
컨텍스트 윈도우: 1M 토큰
잉클링 모델 카드 시작하기
모델 접근: API 접근을 위해 Tinker 서비스를 방문하세요.
인증: 계정을 설정하고 API 키를 받으세요.
환경 설정: 하드웨어가 모델의 요구 사항을 충족하는지 확인하세요.
API를 통한 통합: 제공된 문서를 사용하여 잉클링을 애플리케이션에 통합하세요.
최적화: 특정 사용 사례에 맞게 모델을 미세 조정하세요.
잉클링 모델 카드의 사용 사례
- 챗봇
- 코딩 도우미
- 다중 모달 애플리케이션
- 지시 따르기
- 검색 보강 생성
