ZETIC Melange

Запуск моделей ИИ локально предлагает значительные преимущества. Он устраняет задержки облачных вычислений, обеспечивая производительность в реальном времени. Затраты снижаются за счет исключения дорогостоящих расходов на GPU и облачные токены. Конфиденциальность повышается, поскольку все данные остаются на личном устройстве пользователя. Кроме того, ИИ на устройствах обеспечивает автономный доступ, позволяя работать без подключения к Интернету.

Платформа Melange упрощает весь рабочий процесс развертывания до трех простых шагов: Загрузка, Бенчмаркинг и Развертывание. Пользователи могут загружать свои модели в различных форматах, включая TorchScript, TensorFlow и ONNX, или предоставив ссылку на Hugging Face, или выбрав из библиотеки предварительно оптимизированных моделей. После загрузки Melange проводит бенчмаркинг производительности модели на более чем 200 физических устройствах, предоставляя подробные отчеты о задержках и точности для каждого целевого оборудования. Это позволяет пользователям выбрать наиболее оптимизированное решение для своих конкретных потребностей. Наконец, развертывание осуществляется простым копированием и вставкой трехстрочного блока кода, интегрируя оптимизированную модель в мобильное приложение с помощью готового к использованию фрагмента кода.

Melange обеспечивает значительно более быстрое и оптимизированное воздействие по сравнению с традиционными методами. Он сокращает время развертывания с месяцев до часов за счет автоматизированной, аппаратной оптимизации. Платформа обеспечивает полное ускорение NPU, достигая скорости до 60 раз выше, чем у CPU, и уменьшая размер модели на 50% для сверхнизких задержек. Внедрение может быть завершено менее чем за 6 часов, заменяя месяцы ручной настройки NPU. Melange оптимизирован для максимальной производительности за счет автоматизированного развертывания с квантованием, адаптированным к конкретным архитектурам NPU, максимизируя пропускную способность и сохраняя точность без ручного инжиниринга.

Преимущество ZETIC заключается в полностью автоматизированном конвейере, гибридном ускорении (CPU + GPU + NPU), простом развертывании с помощью 3-строчного кода и обширном тестировании на более чем 200 устройствах. Он поддерживает широкий спектр опций импорта моделей и выходит за рамки мобильных устройств, предлагая встраиваемые решения ИИ для промышленных компьютеров и микроконтроллеров. Melange заменяет ручную настройку CPU автоматизированным конвейером с ускорением NPU, предлагая превосходную альтернативу фрагментированному управлению и сложному ручному кодированию.