Описание
Granite Switch 4.1 30B — это сложная модульная большая языковая модель (LLM), разработанная компанией IBM и доступная на Hugging Face. Эта модель создана для предоставления универсального решения для различных AI-задач, комбинируя базовую модель с 30 миллиардами параметров, специализированные адаптеры и встроенный кодировщик для транскрипции речи в текст. Эта архитектура позволяет одному размещенному конечному пункту без проблем переключаться между различными функциональностями, включая генерацию естественного языка, принятие общих и специализированных решений, а также транскрипцию речи в текст.
Читать далее
В основе Granite Switch 4.1 30B лежит базовая модель ibm-granite/granite-4.1-30b, которая обладает контекстным окном в 128K. Она дополнена двумя основными адаптерами: адаптером «решение» aLoRA для принятия общих решений и адаптером «guardian-core» aLoRA для обнаружения рисков безопасности, таких как вред, взлом, ненормативная лексика, насилие, сексуальный контент, социальные предвзятости и неэтичное поведение. Эти адаптеры активируются по запросу с использованием управляющих токенов в шаблоне чата, обеспечивая динамическую функциональность.
Ключевой особенностью этой модели является встроенная возможность транскрипции речи в текст, поддерживаемая ibm-granite/granite-speech-5.0-470m-turboctc. Этот кодировщик поддерживает транскрипцию на семи языках: английском, французском, немецком, испанском, португальском, итальянском и японском, выдавая пунктуированные и заглавные транскрипты. Это означает, что аудиовход может обрабатываться непосредственно на том же конечном пункте, что и задачи чата и принятия решений, исключая необходимость в отдельном сервере речи.
Granite Switch 4.1 30B лицензирован под Apache 2.0 и поддерживает бэкенды, такие как HuggingFace Transformers и vLLM. Он предназначен для разработчиков и организаций, стремящихся интегрировать передовую обработку языка, принятия решений и речи в свои приложения. Модель также доступна в других конфигурациях, включая базовую версию 8B и полные пакеты библиотек Granite. Этические соображения подчеркивают необходимость тестирования и мониторинга безопасности на уровне приложений, поскольку встроенный адаптер guardian-core предоставляет дополнительный уровень безопасности, но не является заменой комплексным мерам предосторожности при развертывании.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Granite Switch 4.1 30B
Модульная архитектура LLM с базовой моделью и адаптерами
30 миллиардов параметров для базовой модели
Контекстное окно в 128K токенов
Адаптер для принятия решений (aLoRA) для общих решений
Адаптер guardian-core (aLoRA) для обнаружения рисков безопасности
Встроенный многоязычный кодировщик для транскрипции речи в текст (ASR)
Поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского для ASR
Автоматическое определение языка для аудиовхода
Единый размещенный конечный пункт для чата, решений и транскрипции речи в текст
Адаптеры активируются по запросу через управляющие токены
Совместимость с бэкендами HuggingFace Transformers и vLLM
Лицензия Apache 2.0
Нормализация кэша KV для адаптеров
Отсутствие совместного обучения адаптеров, что позволяет независимую разработку
Единая контрольная точка для HuggingFace и vLLM без конвертации
Начало работы с Granite Switch 4.1 30B
Доступ к модели: Перейдите на страницу ibm-granite/granite-switch-4.1-30b на Hugging Face.
Установите зависимости: Убедитесь, что установлены Python (>=3.11, <3.14), granite-switch (>=0.1.1), PyTorch (>=2.11.0) и Transformers (>=5.16, <=5.17.0).
Загрузите модель: Используйте библиотеку HuggingFace Transformers для загрузки модели, указывая желаемую версию, если она не последняя.
Активируйте адаптеры: Передайте имя адаптера (например, 'guardian-core', 'decision') в шаблон чата через `chat_template_kwargs` в вашем запросе.
Обработайте аудиовход: Установите `asr_enabled: true` в `config.json`, чтобы включить транскрипцию речи в текст для аудиовходов.
Отправьте запросы: Составьте запросы для генерации текста, принятия решений или транскрипции речи, используя активированные адаптеры.
Интерпретируйте результаты: Для адаптеров принятия решений читайте откалиброванные вероятности по меткам опций; для guardian-core анализируйте JSON-вердикт.
Варианты использования Granite Switch 4.1 30B
- Многоязычные чат-боты
- Автоматизированные системы принятия решений
- Модерация контента
- Сервисы транскрипции речи
- Интеллектуальные виртуальные помощники
- Понимание языка
- AI-управляемая поддержка клиентов














