설명
Granite Switch 4.1 30B는 IBM에서 개발한 정교한 모듈형 대형 언어 모델(LLM)으로, Hugging Face에서 사용할 수 있습니다. 이 모델은 300억 개의 매개변수를 가진 기본 모델을 전문 어댑터 및 내장 음성-텍스트 인코더와 결합하여 다양한 AI 작업을 위한 다목적 솔루션을 제공하도록 설계되었습니다. 이 아키텍처는 단일 호스팅 엔드포인트가 자연어 생성, 일반 및 전문적인 결정, 음성을 텍스트로 전사하는 등 다양한 기능 간에 원활하게 전환할 수 있도록 합니다.
더 읽기
Granite Switch 4.1 30B의 핵심은 128K 컨텍스트 창을 자랑하는 ibm-granite/granite-4.1-30b 기본 모델입니다. 이 모델은 일반적인 의사 결정을 위한 'decision' aLoRA와 해로운 행동, 탈옥, 욕설, 폭력, 성적 콘텐츠, 사회적 편견 및 비윤리적 행동과 같은 안전 위험을 감지하기 위한 'guardian-core' aLoRA라는 두 가지 주요 어댑터로 보강됩니다. 이러한 어댑터는 채팅 템플릿 내에서 제어 토큰을 사용하여 필요에 따라 활성화되어 동적인 기능을 제공합니다.
이 모델의 주요 기능 중 하나는 ibm-granite/granite-speech-5.0-470m-turboctc에 의해 구동되는 내장 음성-텍스트 기능입니다. 이 인코더는 영어, 프랑스어, 독일어, 스페인어, 포르투갈어, 이탈리아어 및 일본어의 7개 언어로 전사를 지원하며, 구두점이 포함되고 대문자가 사용된 전사 결과를 출력합니다. 이는 오디오 입력이 채팅 및 결정 작업과 동일한 엔드포인트에서 직접 처리될 수 있음을 의미하며, 별도의 음성 서버가 필요하지 않습니다.
Granite Switch 4.1 30B는 Apache 2.0 라이센스 하에 제공되며 HuggingFace Transformers 및 vLLM과 같은 백엔드를 지원합니다. 이 모델은 고급 언어, 결정 및 음성 처리를 애플리케이션에 통합하려는 개발자 및 조직을 위해 설계되었습니다. 이 모델은 8B 기본 버전 및 완전한 Granite Libraries 번들 등 다른 구성으로도 제공됩니다. 윤리적 고려 사항은 애플리케이션 수준의 안전 테스트 및 모니터링의 필요성을 강조하며, 내장된 guardian-core 어댑터가 추가적인 안전 계층을 제공하지만 포괄적인 배포 안전 장치를 대체할 수는 없음을 명심해야 합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
Granite Switch 4.1 30B 하이라이트
기본 모델과 어댑터가 있는 모듈형 LLM 아키텍처
기본 모델을 위한 300억 개의 매개변수
128K 토큰 컨텍스트 창
일반적인 결정을 위한 의사 결정 어댑터(aLoRA)
안전 위험 감지를 위한 guardian-core 어댑터(aLoRA)
내장된 다국어 음성-텍스트(ASR) 인코더
ASR을 위한 영어, 프랑스어, 독일어, 스페인어, 포르투갈어, 이탈리아어, 일본어 지원
오디오 입력에 대한 자동 언어 감지
채팅, 결정 및 음성-텍스트를 위한 단일 호스팅 엔드포인트
제어 토큰을 통해 필요에 따라 활성화되는 어댑터
HuggingFace Transformers 및 vLLM 백엔드와 호환
Apache 2.0 라이센스
어댑터를 위한 KV 캐시 정규화
어댑터의 공동 훈련 없음, 독립적인 개발 가능
변환 없이 HuggingFace 및 vLLM을 위한 단일 체크포인트
Granite Switch 4.1 30B 시작하기
모델 접근: Hugging Face의 ibm-granite/granite-switch-4.1-30b 페이지로 이동합니다.
종속성 설치: Python (>=3.11, <3.14), granite-switch (>=0.1.1), PyTorch (>=2.11.0), Transformers (>=5.16, <=5.17.0)이 설치되어 있는지 확인합니다.
모델 로드: HuggingFace Transformers 라이브러리를 사용하여 모델을 로드하며, 최신 버전이 아닐 경우 원하는 수정본을 지정합니다.
어댑터 활성화: 요청의 `chat_template_kwargs`를 통해 어댑터 이름(예: 'guardian-core', 'decision')을 채팅 템플릿에 전달합니다.
오디오 입력 처리: `config.json`에서 `asr_enabled: true`로 설정하여 오디오 입력에 대한 음성-텍스트 전사를 활성화합니다.
프롬프트 전송: 활성화된 어댑터를 활용하여 텍스트 생성, 의사 결정 또는 음성 전사를 위한 프롬프트를 구성합니다.
출력 해석: 의사 결정 어댑터의 경우 옵션 레이블에 대한 보정된 확률을 읽고, guardian-core의 경우 JSON 판결을 파싱합니다.
Granite Switch 4.1 30B의 사용 사례
- 다국어 챗봇
- 자동화된 의사 결정 시스템
- 콘텐츠 모더레이션
- 음성 전사 서비스
- 지능형 가상 비서
- 언어 이해
- AI 기반 고객 지원














