설명
Sarvam-Prism는 Sarvam이 개발한 전문화된 의사 결정 모델로, 강력한 Sarvam-105B 백본을 활용합니다. 이 모델의 주요 기능은 텍스트 분류로, 주어진 컨텍스트와 하나 이상의 질문을 처리하며, 각 질문에는 고정된 가능한 답변 세트가 동반됩니다. 생성 AI 모델과 달리, Sarvam-Prism는 새로운 텍스트를 생성하지 않고, 대신 단일 전방 패스에서 각 미리 정의된 답변 옵션에 확률을 할당하여 출력이 항상 제공된 선택지 중 하나가 되도록 보장합니다.
더 읽기
이 모델은 개방형 텍스트 생성을 요구하기보다는 정확하고 제한된 의사 결정을 요구하는 응용 프로그램에 특히 적합합니다. 각 질문을 상태, 지침 및 모든 옵션을 포함하는 시퀀스로 변환한 다음, 답변 마커가 뒤따릅니다. 작은 결정 헤드가 각 옵션의 끝과 답변 마커에서 숨겨진 상태를 읽어 각 옵션에 대한 확률을 생성합니다. 모델의 아키텍처에는 효율적인 추론을 위한 특정 주의 마스크 조정 및 FP8 커널이 포함되어 있습니다.
Sarvam-Prism는 다운로드 가능하며 Hugging Face에서 실행할 수 있으며, NVIDIA GPU와 FP8 지원, 약 120GB의 여유 메모리(예: B200 또는 H200)를 포함한 특정 하드웨어 요구 사항이 필요합니다. 또한 Python 3.10+ 및 C 컴파일러가 필요합니다. 필요한 하드웨어가 없는 경우, Sarvam에서 호스팅된 API로도 제공되어 로컬 GPU 리소스가 필요하지 않습니다.
모델의 성능은 속도를 최적화하여 NVIDIA B200에서 요청당 중앙값 44ms를 달성하며, 이는 공개 Decision Index 벤치마크에서 측정되었습니다. 'choice', 'yes_no', 'score' 유형을 포함한 다양한 요청 형식을 지원하여 유연한 질문 설계를 가능하게 합니다. 요청 내 모든 질문은 함께 배치로 점수가 매겨지며, 각 질문은 독립적으로 점수가 매겨집니다. 컨텍스트 제한은 질문당 131,072 토큰으로 설정되어 광범위한 입력을 수용합니다.
가중치는 사용자 정의 FP8 레이아웃에 저장되어 일반 목적의 추론 서버나 AutoModelForCausalLM과 같은 표준 모델과 호환되지 않습니다. 모델의 추론 코드는 입력 인코딩, 주의 마스크, 결정 헤드 및 FP8 커널을 포함하여 `prism.py` 파일 내에 제공됩니다. Sarvam-Prism는 Apache 2.0 라이센스 하에 출시되어 다양한 응용 프로그램에 접근할 수 있습니다.
- 카테고리AI 모델 및 LLM
- 요금제부분 무료
- 배포클라우드, 셀프 호스팅
- 플랫폼웹
Sarvam-Prism 하이라이트
텍스트 분류 의사 결정 모델
Sarvam-105B 백본 기반
미리 정의된 답변에 대한 확률 반환
텍스트를 생성하지 않고 옵션에서 선택만 함
Hugging Face에서 다운로드 가능
GPU 필요 없는 Sarvam의 호스팅 API 제공
FP8 지원 NVIDIA GPU 필요 (예: B200/H200)
Python 3.10+ 및 C 컴파일러 필요
요청당 중앙값 44ms로 속도 최적화
다양한 질문 유형 지원: 'choice', 'yes_no', 'score'
질문을 배치로 처리
질문당 131,072 토큰의 컨텍스트 제한
가중치는 사용자 정의 FP8 레이아웃에 저장
추론 코드는 `prism.py`에 제공
Apache 2.0 라이센스 하에 배포
Sarvam-Prism 시작하기
모델 및 코드 다운로드: Hugging Face 리포지토리에서 Sarvam-Prism 모델 및 관련 코드를 획득합니다.
종속성 설치: 필요한 Python 3.10+ 환경을 설정하고 모든 필수 종속성을 설치합니다.
하드웨어 준비: FP8 지원 NVIDIA GPU와 최소 120GB의 여유 메모리(B200 또는 H200 등)를 확보합니다.
모델 로드: `Prism.from_pretrained("sarvamai/prism")`를 사용하거나 지침에 따라 `prism.py`로 모델을 로드합니다.
요청 형식화: `state`(컨텍스트)와 `questions`(질문 이름과 질문 객체의 맵)를 포함하여 입력을 구조화하고, `type`, `instructions`, `criteria`를 지정합니다.
추론 실행: 형식화된 요청으로 모델을 실행하여 각 답변 옵션에 대한 확률을 받습니다.
API 접근(선택 사항): 로컬 GPU 리소스가 없는 경우 Sarvam의 호스팅 API를 활용하고 API 문서를 따릅니다.
Sarvam-Prism의 사용 사례
- 구조화된 의사 결정
- 텍스트 분류
- 설문 분석
- 질문 응답
- 감정 점수 매기기
- 규정 준수 검사
- 콘텐츠 조정







