Описание
LiquidAI LFM2.5-2.6B является частью семейства LFM2.5, серии гибридных моделей, созданных для развертывания на устройствах. Основываясь на архитектуре LFM2, она имеет контекстное окно 128K и агентное постобучение, что делает её конкурентоспособной с моделями в четыре раза большего размера в использовании инструментов, следовании инструкциям и многошаговых агентных задачах.
Читать далее
Модель обладает эффективными возможностями вывода, достигая 220 токенов в секунду на Apple M5 Max и 113 токенов в секунду на процессоре AMD Ryzen, всё это при объёме памяти менее 2,5 ГБ. Это универсальная текстовая модель с 2,69 миллиарда параметров, 30 слоями и размером словаря 128 000. Модель поддерживает широкий спектр языков, включая английский, арабский, китайский, французский и другие.
LFM2.5-2.6B доступна в различных форматах, таких как базовая модель для дообучения, квантизированный формат для вывода на CPU и формат ONNX Runtime для кроссплатформенного развертывания. Она оптимизирована для быстрого вывода на Apple Silicon с использованием фреймворка MLX и поддерживает спекулятивное декодирование для более быстрых результатов.
Модель рекомендуется для агентных рабочих нагрузок, использования инструментов, извлечения данных и рабочих процессов с длинным контекстом, хотя она не идеальна для агентного кодирования и задач, требующих обширных знаний. Она поддерживает вызов функций в агентных рабочих процессах, что позволяет бесшовно интегрироваться в существующие системы. Рекомендуется дообучение для достижения оптимальных результатов для конкретных случаев использования.
LFM2.5-2.6B была протестирована по сравнению с другими моделями менее 10B, демонстрируя конкурентоспособные результаты по различным метрикам. Её эффективная архитектура позволяет быстро выполнять вывод на CPU и GPU, что делает её подходящей для широкого спектра приложений.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб, macOS, Windows
Главное о LiquidAI LFM2.5-2.6B
Гибридная модель для развертывания на устройствах
Контекстное окно 128K
Агентное постобучение
Эффективный вывод
2,69 миллиарда параметров
Поддержка нескольких языков
Доступна в различных форматах
Оптимизирована для Apple Silicon
Начало работы с LiquidAI LFM2.5-2.6B
Доступ к странице модели: посетите сайт Hugging Face
Аутентификация: войдите в свою учетную запись Hugging Face
Настройка: настройте модель для вашего конкретного случая использования
Отправка запросов: используйте модель для вывода или агентных рабочих процессов
Варианты использования LiquidAI LFM2.5-2.6B
- Агентные рабочие процессы
- Извлечение данных
- Использование инструментов
- Задачи с длинным контекстом
- Кроссплатформенное развертывание
