ZETIC Melange

Ejecutar modelos de IA localmente ofrece ventajas significativas. Elimina la latencia de la nube, asegurando un rendimiento en tiempo real. Los costos se reducen al evitar costosos gastos de GPU y tokens en la nube. La privacidad se mejora ya que todos los datos permanecen en el dispositivo personal del usuario. Además, la IA en dispositivo proporciona acceso sin conexión, permitiendo la funcionalidad sin conexión a Internet.

La plataforma Melange simplifica todo el flujo de trabajo de despliegue en tres pasos sencillos: Cargar, Benchmarking y Desplegar. Los usuarios pueden cargar sus modelos en varios formatos, incluyendo TorchScript, TensorFlow y ONNX, o proporcionando un enlace de Hugging Face, o seleccionando de una biblioteca de modelos preoptimizados. Tras la carga, Melange realiza benchmarks del rendimiento del modelo en más de 200 dispositivos físicos, proporcionando informes detallados de latencia y precisión para cada hardware de destino. Esto permite a los usuarios seleccionar la solución más optimizada para sus necesidades específicas. Finalmente, el despliegue se logra con un simple copiar y pegar de un bloque de código de tres líneas, integrando el modelo optimizado en una aplicación móvil con un fragmento de código listo para usar.

Melange ofrece un impacto significativamente más rápido y optimizado en comparación con los métodos tradicionales. Reduce el tiempo de despliegue de meses a horas a través de la optimización automatizada y consciente del hardware. La plataforma desbloquea la aceleración completa de la NPU, logrando velocidades hasta 60 veces más rápidas que la CPU y reduciendo el tamaño del modelo en un 50% para una latencia ultrabaja. La implementación se puede completar en menos de 6 horas, reemplazando meses de ajuste manual de NPU. Melange está optimizado para el mejor rendimiento a través de un despliegue automatizado con cuantización adaptada a arquitecturas NPU específicas, maximizando el rendimiento y preservando la precisión sin ingeniería manual.

La ventaja de ZETIC radica en su pipeline totalmente automatizado, aceleración híbrida (CPU + GPU + NPU), simple despliegue con código de 3 líneas y pruebas extensas en más de 200 dispositivos. Soporta una amplia gama de opciones de importación de modelos y se extiende más allá de los dispositivos móviles a soluciones de IA integradas para computadoras industriales y MCUs. Melange reemplaza el ajuste manual de CPU con un pipeline automatizado y acelerado por NPU, ofreciendo una alternativa superior a la gestión fragmentada y la codificación manual compleja.