Описание
GLiDE 27B — это сложная модель принятия решений с 27 миллиардами параметров, разработанная компанией Fastino, предназначенная для предоставления вероятностных ответов на вводимые вопросы на основе различных входных состояний. Модель превосходно справляется со сценариями, требующими точной классификации, маршрутизации и оценки, а не генерации текста. Она обрабатывает входные состояния, которые могут включать текст, JSON и изображения, предлагая мультимодальные возможности для комплексного анализа решений.
Читать далее
Пользователи могут взаимодействовать с GLiDE 27B через API, размещенный Fastino, который поддерживает запросы на принятие решений через конечную точку POST. API позволяет использовать различные типы вопросов, включая «выбор» (выбор одного из до 255 именованных вариантов), «noul» (вопросы да/нет, возвращающие P(да)) и «оценка» (присвоение упорядоченных уровней). Для каждого вопроса GLiDE 27B возвращает вероятности для каждого возможного варианта, полученные из 255-выборного вывода, гарантируя, что текст не генерируется.
Модель спроектирована для эффективности, выполняя один прямой проход на вопрос и оценивая все вопросы в рамках одного запроса, а также параллельные запросы, вместе в микро-пакетах. Она поддерживает длинные контексты, вмещая до 40,000 токенов на запрос вопроса по умолчанию, что включает состояния, вопросы, варианты и токены изображений. Интерфейсы доступны через Python API и HTTP-сервер, который общается с использованием формата System One.
GLiDE 27B работает с весами bf16, требуя GPU с 80 ГБ или более памяти, таких как NVIDIA RTX PRO 6000 Blackwell Server Edition. На этом оборудовании была продемонстрирована медианная задержка 112 мс на запрос. Архитектура модели включает языковую модель объемом 51.2 ГБ, визуальный кодировщик объемом 0.92 ГБ и вывод объемом 2.6 МБ. Fastino предоставляет систему API-ключей и документацию для легкой интеграции и развертывания. Модель лицензирована по лицензии Fastino Community License, при этом компоненты третьих сторон сохраняют свои оригинальные лицензии.
- КатегорияИИ-модели и LLM
- Модель ценообразованияЧерез отдел продаж
- РазвёртываниеОблако
- ПлатформыВеб
Главное о GLiDE 27B
27 миллиардов параметров
Модель принятия решений «изображение-текст-в-текст»
Вводимые вопросы на принятие решений (выбор, noul, оценка)
Вероятностные результаты для каждого варианта
Без генерации текста (негенеративная)
Мультимодальный ввод (текст, JSON, изображения)
Поддержка длинного контекста (до 40,000 токенов)
Интерфейсы Python API и HTTP-сервера
Обработка микро-пакетов для повышения эффективности
Вес и вычисления bf16
Требуется GPU с памятью 80 ГБ и более
Доступный API, размещенный Fastino
Аутентификация по API-ключу
Поддержка встроенных изображений (Data URLs, Base64)
Конфигурируемая пакетная обработка и параллелизм
Начало работы с GLiDE 27B
Получите API-ключ: Получите API-ключ от Fastino для доступа к размещенному API GLiDE.
Подготовьте запрос: Отформатируйте ваш запрос на принятие решения с состоянием (текст, JSON или мультимодальный с изображениями) и одним или несколькими вводимыми вопросами.
Отправьте запрос: Используйте конечную точку API Fastino (POST https://api.fastino.ai/v1/systemone) с моделью `fastino/GLiDE`.
Получите ответ: Получите ответ, содержащий наиболее вероятный выбор, вероятность noul или оценку, вместе с вероятностями для всех вариантов.
Интеграция локально (по желанию): Следуйте инструкциям в репозитории, чтобы запустить GLiDE 27B локально с использованием Python или HTTP-сервера.
Варианты использования GLiDE 27B
- Задачи классификации
- Маршрутизация решений
- Системы оценки
- Мультимодальный анализ
- Анализ настроений
- Модерация контента
- Триаж поддержки клиентов
- Анализ опросов
