Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

Granite Switch 4.1 30B

LLMИИ-модели и LLMОткрытый код · Веб

Granite Switch 4.1 30B — это модульная большая языковая модель (LLM), разработанная для различных AI-приложений. Она интегрирует базовую модель с несколькими адаптерами и кодировщиком, позволяя одному размещенному конечному пункту обрабатывать ответы на естественном языке, общие и специализированные решения, а также многоязычную транскрипцию речи в текст. Эта модель предлагает гибкость и обширные возможности для разработчиков.

Посетить URL
Поделиться
Скриншот Granite Switch 4.1 30B
Скриншот Granite Switch 4.1 30B

Granite Switch 4.1 30B — это сложная модульная большая языковая модель (LLM), разработанная компанией IBM и доступная на Hugging Face. Эта модель создана для предоставления универсального решения для различных AI-задач, комбинируя базовую модель с 30 миллиардами параметров, специализированные адаптеры и встроенный кодировщик для транскрипции речи в текст. Эта архитектура позволяет одному размещенному конечному пункту без проблем переключаться между различными функциональностями, включая генерацию естественного языка, принятие общих и специализированных решений, а также транскрипцию речи в текст.

Читать далее

В основе Granite Switch 4.1 30B лежит базовая модель ibm-granite/granite-4.1-30b, которая обладает контекстным окном в 128K. Она дополнена двумя основными адаптерами: адаптером «решение» aLoRA для принятия общих решений и адаптером «guardian-core» aLoRA для обнаружения рисков безопасности, таких как вред, взлом, ненормативная лексика, насилие, сексуальный контент, социальные предвзятости и неэтичное поведение. Эти адаптеры активируются по запросу с использованием управляющих токенов в шаблоне чата, обеспечивая динамическую функциональность.

Ключевой особенностью этой модели является встроенная возможность транскрипции речи в текст, поддерживаемая ibm-granite/granite-speech-5.0-470m-turboctc. Этот кодировщик поддерживает транскрипцию на семи языках: английском, французском, немецком, испанском, португальском, итальянском и японском, выдавая пунктуированные и заглавные транскрипты. Это означает, что аудиовход может обрабатываться непосредственно на том же конечном пункте, что и задачи чата и принятия решений, исключая необходимость в отдельном сервере речи.

Granite Switch 4.1 30B лицензирован под Apache 2.0 и поддерживает бэкенды, такие как HuggingFace Transformers и vLLM. Он предназначен для разработчиков и организаций, стремящихся интегрировать передовую обработку языка, принятия решений и речи в свои приложения. Модель также доступна в других конфигурациях, включая базовую версию 8B и полные пакеты библиотек Granite. Этические соображения подчеркивают необходимость тестирования и мониторинга безопасности на уровне приложений, поскольку встроенный адаптер guardian-core предоставляет дополнительный уровень безопасности, но не является заменой комплексным мерам предосторожности при развертывании.

  • КатегорияИИ-модели и LLM
  • Модель ценообразованияОткрытый код
  • РазвёртываниеОблако
  • ПлатформыВеб

  • Модульная архитектура LLM с базовой моделью и адаптерами

  • 30 миллиардов параметров для базовой модели

  • Контекстное окно в 128K токенов

  • Адаптер для принятия решений (aLoRA) для общих решений

  • Адаптер guardian-core (aLoRA) для обнаружения рисков безопасности

  • Встроенный многоязычный кодировщик для транскрипции речи в текст (ASR)

  • Поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского для ASR

  • Автоматическое определение языка для аудиовхода

  • Единый размещенный конечный пункт для чата, решений и транскрипции речи в текст

  • Адаптеры активируются по запросу через управляющие токены

  • Совместимость с бэкендами HuggingFace Transformers и vLLM

  • Лицензия Apache 2.0

  • Нормализация кэша KV для адаптеров

  • Отсутствие совместного обучения адаптеров, что позволяет независимую разработку

  • Единая контрольная точка для HuggingFace и vLLM без конвертации

  1. Доступ к модели: Перейдите на страницу ibm-granite/granite-switch-4.1-30b на Hugging Face.

  2. Установите зависимости: Убедитесь, что установлены Python (>=3.11, <3.14), granite-switch (>=0.1.1), PyTorch (>=2.11.0) и Transformers (>=5.16, <=5.17.0).

  3. Загрузите модель: Используйте библиотеку HuggingFace Transformers для загрузки модели, указывая желаемую версию, если она не последняя.

  4. Активируйте адаптеры: Передайте имя адаптера (например, 'guardian-core', 'decision') в шаблон чата через `chat_template_kwargs` в вашем запросе.

  5. Обработайте аудиовход: Установите `asr_enabled: true` в `config.json`, чтобы включить транскрипцию речи в текст для аудиовходов.

  6. Отправьте запросы: Составьте запросы для генерации текста, принятия решений или транскрипции речи, используя активированные адаптеры.

  7. Интерпретируйте результаты: Для адаптеров принятия решений читайте откалиброванные вероятности по меткам опций; для guardian-core анализируйте JSON-вердикт.

  • Многоязычные чат-боты
  • Автоматизированные системы принятия решений
  • Модерация контента
  • Сервисы транскрипции речи
  • Интеллектуальные виртуальные помощники
  • Понимание языка
  • AI-управляемая поддержка клиентов

От IBM

Модель в Granite Switch 4.1 8B.

Отзывы о Granite Switch 4.1 30B

Загрузка...

Популярные ИИ-инструменты, похожие на Granite Switch 4.1 30B

Granite Switch 4.1 8B — это модульная LLM, которая интегрирует базовую модель, несколько адаптеров и кодировщик для предоставления ответов на естественном языке, принятия решений…

ИИ-модели и LLM

№18 в LLM

Открыть инструмент

Модульная LLM, которая интегрирует базовую модель, несколько адаптеров и кодировщик для предоставления ответов на естественном языке, принятия решений…Granite Switch 4.1 8B — это модульная LLM, которая интегрирует базовую модель, несколько адаптеров и кодировщик для предоставления ответов на естественном языке, принятия решений…

ИИ-модели и LLM
№18 в LLM

Apertus 1.5 — это семейство многоязычных, мультимодальных языковых моделей, разработанных для поддержки широкого спектра языков и контекстов. Оно предлагает открытый доступ и…

ИИ-модели и LLM

№72 в LLM

Открыть инструмент

Семейство многоязычных, мультимодальных языковых моделей, разработанных для поддержки широкого спектра языков и контекстов. Оно предлагает открытый доступ и…Apertus 1.5 — это семейство многоязычных, мультимодальных языковых моделей, разработанных для поддержки широкого спектра языков и контекстов. Оно предлагает открытый доступ и…

ИИ-модели и LLM
№72 в LLM

LiquidAI LFM3-1.7B — это текстовая модель, разработанная для локальных агентов и специализированных приложений. Она имеет три-гибридную архитектуру и поддерживает контекстное окно…

ИИ-модели и LLM

№91 в LLM

Открыть инструмент

Текстовая модель, разработанная для локальных агентов и специализированных приложений. Она имеет три-гибридную архитектуру и поддерживает контекстное окно…LiquidAI LFM3-1.7B — это текстовая модель, разработанная для локальных агентов и специализированных приложений. Она имеет три-гибридную архитектуру и поддерживает контекстное окно…

ИИ-модели и LLM
№91 в LLM

DeepSeek — это компания, занимающаяся исследованиями в области ИИ, которая стремится к разработке общего искусственного интеллекта. Она предлагает открытые фронтирные LLM, такие…

ИИ-модели и LLM

№2 в LLM

Открыть инструмент

Компания, занимающаяся исследованиями в области ИИ, которая стремится к разработке общего искусственного интеллекта. Она предлагает открытые фронтирные LLM, такие…DeepSeek — это компания, занимающаяся исследованиями в области ИИ, которая стремится к разработке общего искусственного интеллекта. Она предлагает открытые фронтирные LLM, такие…

РекомендованоИИ-модели и LLM
№2 в LLM

Olmo от Ai2 — это полностью открытая языковая модель, разработанная для продвинутых исследований и приложений в области ИИ. Она предлагает различные варианты моделей,…

ИИ-модели и LLM

№100 в LLM

Открыть инструмент

Полностью открытая языковая модель, разработанная для продвинутых исследований и приложений в области ИИ. Она предлагает различные варианты моделей,…Olmo от Ai2 — это полностью открытая языковая модель, разработанная для продвинутых исследований и приложений в области ИИ. Она предлагает различные варианты моделей,…

РекомендованоИИ-модели и LLM
№100 в LLM

Mixtral-8x22B-Instruct-v0.1 — это большая языковая модель, дообученная для выполнения инструктивных задач. Она поддерживает вызов функций и интеграцию с трансформерами Hugging…

ИИ-модели и LLM

№68 в LLM

Открыть инструмент

Большая языковая модель, дообученная для выполнения инструктивных задач. Она поддерживает вызов функций и интеграцию с трансформерами Hugging…Mixtral-8x22B-Instruct-v0.1 — это большая языковая модель, дообученная для выполнения инструктивных задач. Она поддерживает вызов функций и интеграцию с трансформерами Hugging…

ИИ-модели и LLM
№68 в LLM

AliceAI-Foundation-80B-A3B-Base — это базовая языковая модель с гибридной архитектурой и слоями MoE, содержащая 80 миллиардов параметров. Она превосходно справляется с задачами…

ИИ-модели и LLM

№29 в LLM

Открыть инструмент

Базовая языковая модель с гибридной архитектурой и слоями MoE, содержащая 80 миллиардов параметров. Она превосходно справляется с задачами…AliceAI-Foundation-80B-A3B-Base — это базовая языковая модель с гибридной архитектурой и слоями MoE, содержащая 80 миллиардов параметров. Она превосходно справляется с задачами…

ИИ-модели и LLM
№29 в LLM

Falcon3-10B-Instruct — это современная языковая модель, разработанная для задач рассуждения, понимания языка и выполнения инструкций. Она поддерживает несколько языков и…

ИИ-модели и LLM

№67 в LLM

Открыть инструмент

Falcon3-10B-Instruct — это современная языковая модель, разработанная для задач рассуждения, понимания языка и выполнения инструкций. Она поддерживает несколько языков и…

ИИ-модели и LLM
№67 в LLM
1 из 8