Описание
Needle 3 — это основная модель, разработанная компанией Cactus Compute, оптимизированная для мобильных устройств, носимых устройств, роботов, систем умного дома, автомобильных приложений и микроконтроллеров. Модель компактна, размер файла составляет от 8 до 29 МБ, что позволяет ей превосходить более крупные модели в определенных задачах на мобильных платформах. Needle 3 сосредоточена на трех основных функциях: вызовах инструментов, структурированном извлечении и встраивании текста.
Читать далее
Вызовы инструментов позволяют модели выбирать соответствующие функции из приложения и заполнять аргументы на основе ввода пользователя. Это обеспечивает точное выполнение задач без необходимости угадывания, предоставляя пустой список, когда подходящий инструмент недоступен. Структурированное извлечение позволяет пользователям определять форму и получать типизированные поля из неструктурированного текста, такого как счета или уведомления, с гарантированной точностью разбора.
Встраивание текста генерирует векторы для предложений, облегчая локальный поиск, сопоставление и маршрутизацию внутри приложений. Кроме того, Needle 3 поддерживает возможности преобразования речи в текст через интеграцию с моделью Whistle, что позволяет выполнять транскрипцию и взаимодействие с инструментами на нескольких языках.
Архитектура модели, известная как Laddered Simple Attention Network, включает в себя передовые технологии, такие как Monarch Hadamard MLP, внимание GQA и память n-gram, обеспечивая эффективную работу на различных глубинах. Needle 3 настраиваемая, что позволяет проводить тонкую настройку для конкретных приложений, и поддерживает развертывание на нескольких платформах, включая Python, C API и браузерные среды.
Cactus Compute предоставляет исчерпывающие руководства по проектированию инструментов, использованию оценок уверенности и тонкой настройке модели. Пользователи могут получить доступ к модели и ее компонентам через GitHub и веб-сайт Cactus Compute, что обеспечивает легкую интеграцию и развертывание.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб
Главное о Needle 3
Вызовы инструментов
Структурированное извлечение
Встраивание текста
Интеграция преобразования речи в текст
Сеть с лестничным простым вниманием
Настраиваемая тонкая настройка
Многофункциональное развертывание
Компактный размер модели
Начало работы с Needle 3
Доступ к странице модели: посетите страницу Needle 3 на Hugging Face.
Аутентификация: убедитесь, что у вас есть доступ к репозиторию модели.
Настройка: настройте параметры модели и окружение.
Отправка запросов: используйте модель для вызовов инструментов и извлечения.
Тонкая настройка: настройте модель для конкретных приложений.
Варианты использования Needle 3
- Мобильные вызовы инструментов
- Извлечение текста
- Локальный поиск
- Транскрипция речи
- Встроенный ИИ
