Описание
LiteRT представляет собой следующее поколение Google в области развертывания машинного обучения на устройстве, развиваясь из широко используемого TensorFlow Lite. Этот фреймворк разработан для высокопроизводительного развертывания ML и генеративного ИИ на огромном количестве периферийных платформ. Он предоставляет эффективный конвейер для преобразования моделей, выполнения и оптимизации, специально адаптированный к ограничениям и требованиям сред на устройстве.
Читать далее
Основываясь на проверенном фундаменте TensorFlow Lite, LiteRT стремится обеспечить низкую задержку и повышенную конфиденциальность для приложений, работающих непосредственно на миллиардах устройств. Его кроссплатформенная готовность упрощает развертывание сложных возможностей ИИ, включая генеративный ИИ, предлагая упроренное аппаратное ускорение и поддержку нескольких фреймворков. Разработчики могут использовать существующие модели .tflite или преобразовывать модели из таких фреймворков, как PyTorch, JAX и TensorFlow. Набор инструментов оптимизации LiteRT позволяет выполнять квантование после обучения, дополнительно повышая эффективность модели.
LiteRT поддерживает ряд сценариев развертывания, от интеграции предварительно обученных моделей в приложения до продвинутой разработки пользовательских моделей с глубокой аппаратной оптимизацией. Он разработан для того, чтобы дать разработчикам возможность выводить передовой ИИ, включая продвинутые агентские навыки и многошаговое планирование с такими моделями, как Gemma, непосредственно на периферию. Фреймворк также фокусируется на расширении поддержки аппаратного ускорения, особенно для NPU MediaTek и Qualcomm, раскрывая пиковую производительность для задач генеративного ИИ на этих чипсетах.
Для существующих пользователей TensorFlow Lite переход на LiteRT предлагает улучшенную производительность и унифицированные API для таких платформ, как Android, Desktop и Web. Введение API CompiledModel еще больше упрощает развертывание, автоматизируя выбор оборудования и обеспечивая асинхронное выполнение. LiteRT-LM специально позволяет развертывать языковые модели на носимых устройствах и в браузерах, демонстрируя свою универсальность для различных периферийных ИИ-приложений. Вклад сообщества приветствуется через репозиторий GitHub, а оптимизированные модели с открытым весом доступны через Hugging Face Hub.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияОткрытый код
- РазвёртываниеНа устройстве
- ПлатформыAndroid, Веб
Основные функции LiteRT
Высокопроизводительное развертывание ML и GenAI на устройстве
Эффективное преобразование моделей из PyTorch, JAX, TensorFlow
Оптимизированное выполнение для периферийных платформ
Набор инструментов для квантования после обучения
Кроссплатформенная совместимость (Android, Desktop, Web)
Упрощенное аппаратное ускорение
Поддержка нескольких фреймворков
API CompiledModel для автоматического выбора оборудования
LiteRT-LM для языковых моделей на устройстве
Повышенная конфиденциальность и низкая задержка
Развитие на основе фундамента TensorFlow Lite
Поддержка ускорения NPU на чипсетах MediaTek и Qualcomm
Начало работы с LiteRT
Получить модель: Используйте существующие модели .tflite или преобразуйте модели PyTorch, JAX или TensorFlow.
Оптимизировать модель: Используйте набор инструментов оптимизации LiteRT для квантования после обучения.
Развернуть модель: Интегрируйте вашу оптимизированную модель с LiteRT, выбрав оптимальный ускоритель.
Запустить модель: Разверните ваше приложение на целевых периферийных устройствах.
Изучить примеры: Обратитесь к GitHub для получения полных комплексных примеров приложений.
Получить доступ к моделям: Найдите оптимизированные GenAI модели с открытым весом на Hugging Face.
Варианты использования LiteRT
- Чат-боты на устройстве
- Периферийные ИИ-приложения
- ИИ на носимых устройствах
- ИИ в браузерах
- Визуальные и аудио-приложения
- Агентские навыки
- Оптимизация пользовательских моделей
- Кроссплатформенное развертывание
