설명
GLiDE 27B는 Fastino에서 개발한 정교한 270억 개의 매개변수를 가진 의사결정 모델로, 다양한 입력 상태에 기반하여 입력된 질문에 확률적인 답변을 제공하도록 설계되었습니다. 이 모델은 텍스트 생성을 요구하지 않고, 정확한 분류, 라우팅 및 점수 매기기가 필요한 시나리오에서 뛰어난 성능을 발휘합니다. 텍스트, JSON 및 이미지를 포함할 수 있는 입력 상태를 처리하여 포괄적인 의사결정 분석을 위한 다중 모드 기능을 제공합니다.
더 읽기
사용자는 Fastino의 호스팅 API를 통해 GLiDE 27B와 상호작용할 수 있으며, 이 API는 POST 엔드포인트를 통해 의사결정 요청을 지원합니다. API는 '선택' (최대 255개의 명명된 옵션 중 하나 선택), '노울' (예/아니오 질문으로 P(예) 반환), '점수' (순서 수준 할당) 등 다양한 질문 유형을 허용합니다. 각 질문에 대해 GLiDE 27B는 255방식 의사결정 판독에서 파생된 모든 가능한 옵션에 대한 확률을 반환하여 생성된 텍스트가 생성되지 않도록 보장합니다.
이 모델은 효율성을 위해 설계되어 있으며, 각 질문에 대해 하나의 전방 패스를 수행하고 요청 내 모든 질문을 점수화하며, 동시에 요청을 마이크로 배치로 처리합니다. 기본적으로 최대 40,000개의 토큰을 포함하는 긴 컨텍스트를 지원하며, 여기에는 상태, 질문, 옵션 및 이미지 토큰이 포함됩니다. 인터페이스는 Python API와 System One 형식을 사용하는 HTTP 서버를 통해 제공됩니다.
GLiDE 27B는 bf16 가중치를 사용하며, NVIDIA RTX PRO 6000 Blackwell Server Edition과 같은 80GB 이상의 메모리를 가진 GPU가 필요합니다. 이 하드웨어에서 요청당 중간 대기 시간은 112ms로 나타났습니다. 모델의 아키텍처에는 51.2GB 언어 모델, 0.92GB 비전 인코더 및 2.6MB 판독기가 포함되어 있습니다. Fastino는 통합 및 배포를 용이하게 하기 위해 API 키 시스템과 문서를 제공합니다. 이 모델은 Fastino 커뮤니티 라이센스 하에 라이센스가 부여되며, 제3자 구성 요소는 원래 라이센스를 유지합니다.
- 카테고리AI 모델 및 LLM
- 요금제영업팀 문의
- 배포클라우드
- 플랫폼웹
GLiDE 27B 하이라이트
270억 개의 매개변수
이미지-텍스트-텍스트 의사결정 모델
입력된 의사결정 질문 (선택, 노울, 점수)
모든 옵션에 대한 확률적 출력
텍스트 생성 없음 (비생성적)
다중 모드 입력 (텍스트, JSON, 이미지)
긴 컨텍스트 지원 (최대 40,000 토큰)
Python API 및 HTTP 서버 인터페이스
효율성을 위한 마이크로 배치 처리
bf16 가중치 및 컴퓨팅
80GB 이상의 GPU 메모리 필요
Fastino 호스팅 API 사용 가능
API 키 인증
인라인 이미지 지원 (데이터 URL, Base64)
구성 가능한 배치 및 동시성
GLiDE 27B 시작하기
API 키 받기: Fastino에서 API 키를 받아 GLiDE API에 접근합니다.
요청 준비: 상태(텍스트, JSON 또는 이미지를 포함한 다중 모드)와 하나 이상의 입력된 질문으로 의사결정 요청을 형식화합니다.
요청 전송: Fastino API 엔드포인트(POST https://api.fastino.ai/v1/systemone)를 사용하여 모델 `fastino/GLiDE`를 호출합니다.
응답 받기: 가장 확률이 높은 선택, 노울 확률 또는 점수와 모든 옵션에 대한 확률을 포함하는 응답을 받습니다.
로컬 통합 (선택 사항): Python 또는 HTTP 서버를 사용하여 GLiDE 27B를 로컬에서 실행하기 위한 저장소 지침을 따릅니다.
GLiDE 27B의 사용 사례
- 분류 작업
- 의사결정 라우팅
- 점수 시스템
- 다중 모드 분석
- 감정 분석
- 콘텐츠 조정
- 고객 지원 분류
- 설문 분석
