Описание
Granite Switch 4.1 8B — это сложная большая языковая модель, разработанная для выполнения различных задач с помощью модульного подхода. Она сочетает в себе базовую модель с несколькими адаптерами и кодировщиком, что позволяет ей без проблем переключаться между обработкой естественного языка, принятием решений и функциональностью преобразования речи в текст.
Читать далее
Эта модель особенно примечательна своей способностью активировать адаптеры по запросу с помощью управляющих токенов, которые встроены в шаблон чата.
Базовая модель, ibm-granite/granite-4.1-8b, имеет 8 миллиардов параметров и длину контекста в 128K токенов. Она поддерживает несколько языков, включая английский, немецкий, испанский, французский, японский и другие. Архитектура модели представляет собой плотный трансформер только для декодирования, включающий передовые технологии, такие как GQA, RoPE, SwiGLU и RMSNorm.
Granite Switch 4.1 8B включает два основных адаптера: адаптер принятия решений aLoRA, который предоставляет возможности принятия решений общего назначения, и адаптер guardian-core aLoRA, который обнаруживает риски безопасности, такие как вред, ненормативная лексика и социальные предвзятости. Кроме того, модель включает встроенную возможность преобразования речи в текст через кодировщик Granite Speech 5.0 TurboCTC, который оптимизирован для быстрых задач транскрипции.
Модель разработана для гибкости и эффективности, с одной размещенной точкой доступа, которая поддерживает чат, принятие решений и аудиотранскрипцию без необходимости в отдельных серверах. Она лицензирована под Apache 2.0, что обеспечивает открытый доступ и права на модификацию. Модель совместима с HuggingFace Transformers и vLLM бэкендами, что делает ее доступной для широкого спектра приложений.
Granite Switch 4.1 8B идеально подходит для разработчиков и исследователей, ищущих универсальную LLM, способную справляться со сложными задачами в различных областях. Ее модульный дизайн и открытый исходный код делают ее ценным инструментом для продвижения исследований и приложений в области ИИ.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Granite Switch 4.1 8B
Модульная архитектура LLM
Базовая модель с 8 миллиардами параметров
Поддержка нескольких языков
Адаптер принятия решений
Адаптер обнаружения безопасности
Встроенный кодировщик преобразования речи в текст
Активация управляющих токенов
Лицензия Apache 2.0
Начало работы с Granite Switch 4.1 8B
Доступ к странице модели: посетите страницу модели Hugging Face
Аутентификация: убедитесь, что у вас есть учетные данные доступа
Настройка: настройте модель с желаемыми адаптерами
Отправка запросов: используйте шаблон чата для взаимодействия
Тонкая настройка: при необходимости отрегулируйте параметры модели
Варианты использования Granite Switch 4.1 8B
- Многоязычный чат
- Поддержка принятия решений
- Транскрипция речи
- Мониторинг безопасности
- Исследования в области ИИ















