설명
Inkling-Small은 텍스트, 이미지 및 오디오 입력을 처리하여 텍스트 출력을 생성하도록 설계된 범용 다중 모달 모델입니다. 영어 및 기타 언어에서 사용하기에 적합하며, 여러 프로그래밍 언어를 지원합니다. 개발자는 Inkling-Small을 활용하여 챗봇, 코딩 도우미 및 검색 보강 생성 시스템과 같은 AI 기반 애플리케이션을 구축할 수 있습니다. 이 모델은 공개 가중치로 출시되어 연구, 미세 조정 및 제3자 제품에 통합할 수 있습니다.
더 읽기
모델 아키텍처는 42층 디코더 전용 변환기로, 희소 혼합 전문가 피드포워드 백본을 갖추고 있습니다. 각 토큰은 256명의 전문가 중 6명에게 라우팅되며, 모든 토큰에서 활성화되는 2명의 공유 전문가가 있습니다. 지역 및 글로벌 레이어를 결합한 하이브리드 주의 메커니즘을 특징으로 합니다. Inkling-Small은 본질적으로 다중 모달이며, 계층적 패치 인코더를 통해 이미지를 인코딩하고, 이산 토큰 인코딩을 통해 오디오를 인코딩하며, 모든 모달리티가 공유된 숨겨진 공간으로 투영됩니다.
Inkling-Small은 SGLang, vLLM, TokenSpeed, Unsloth 및 Huggingface와 같은 오픈 소스 라이브러리를 사용하여 로컬 배포를 지원합니다. API 액세스는 제3자 추론 제공자를 통해 가능합니다. 모델의 훈련 데이터에는 공개적으로 사용 가능한 리포지토리, 제3자 인수 및 합성 생성에서 수집된 다양한 콘텐츠 유형이 포함됩니다.
안전성 평가가 수행되어 Inkling-Small의 텍스트, 오디오 및 이미지 입력에 대한 책임 있는 사용을 보장합니다. 위험을 줄이기 위해 완화 조치가 적용되었으며, 안전성을 높이기 위해 모델 주위에 일반적인 조정 도구를 추가할 수 있습니다. 한계에는 기초 모델에서 일반적으로 나타나는 잠재적 편향 및 환각, 긴 대화에서의 성능 저하가 포함됩니다. 개발자는 고위험 애플리케이션에 대해 인간의 감독 및 추가 안전 장치를 적용할 것을 권장합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드, 셀프 호스팅
- 플랫폼웹
Inkling-Small 하이라이트
다중 모달 모델
공개 가중치
API 액세스
로컬 배포 지원
42층 변환기
희소 혼합 전문가
계층적 패치 인코더
이산 토큰 인코딩
Inkling-Small 시작하기
모델 페이지에 액세스: Hugging Face 방문
인증: 액세스 자격 증명 설정
구성: 모델 설정 조정
프롬프트 전송: 텍스트, 이미지 또는 오디오 입력
미세 조정: 모델 출력 사용자 정의
Inkling-Small의 사용 사례
- 챗봇
- 코딩 도우미
- 다중 모달 애플리케이션
- 지시 수행
- 연구
