Описание
Falcon3-10B-Instruct является частью семейства Falcon3 открытых базовых моделей, разработанных Институтом технологических инноваций. Это архитектура, основанная на трансформерах, с декодером только для причинно-следственного анализа, состоящая из 40 декодирующих блоков и группового внимания к запросам для более быстрой инференции. Модель разработана для достижения современных результатов в задачах рассуждения, понимания языка, выполнения инструкций, работы с кодом и математических задач. Она поддерживает четыре языка: английский, французский, испанский и португальский, и предлагает длину контекста до 32K.
Читать далее
Модель была дообучена на 1,2 миллиона образцов данных STEM, разговорных, кодовых, данных по безопасности и вызовам функций, используя 1024 чипа GPU H100. Falcon3-10B-Instruct лицензирована по лицензии TII Falcon-LLM License 2.0 и планируется к выпуску в декабре 2024 года. Она продемонстрировала высокую производительность в различных бенчмарках, включая IFEval, BBH, MATH Lvl-5, GPQA и MUSR.
Falcon3-10B-Instruct подходит для разработчиков и исследователей, ищущих надежную языковую модель, способную справляться со сложными задачами на нескольких языках. Она предлагает значительные преимущества в скорости и точности, что делает ее ценным инструментом для проектов на основе ИИ. Архитектура модели и данные для обучения обеспечивают всестороннее понимание языка и возможности выполнения инструкций.
- КатегорияИИ-модели и LLM
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Модель Falcon3-10B-Instruct
Архитектура, основанная на трансформерах, только для декодирования
40 декодирующих блоков
Групповое внимание к запросам для более быстрой инференции
Поддерживает английский, французский, испанский, португальский
Длина контекста 32K
Дообучена на 1,2 миллиона образцов
Высокое значение RoPE для понимания длинного контекста
Использует SwiGLu и RMSNorm
Размер словаря 131K
Разработано Институтом технологических инноваций
Лицензия: TII Falcon-LLM License 2.0
Дата выпуска модели: декабрь 2024
Производительность в бенчмарках: IFEval, BBH, MATH Lvl-5
Использует 1024 чипа GPU H100
Глубина увеличена по сравнению с Falcon3-7B-Base
Начало работы с Модель Falcon3-10B-Instruct
Страница доступа: Посетите репозиторий моделей Hugging Face
Загрузите модель: Инициализируйте Falcon3-10B-Instruct в вашей среде
Настройте среду: Установите необходимые зависимости и конфигурации
Интеграция: Подключите модель к вашему приложению
Тонкая настройка: Настройте параметры модели для конкретных задач
Варианты использования Модель Falcon3-10B-Instruct
- Понимание языка
- Выполнение инструкций
- Задачи рассуждения
- Анализ кода
- Математические задачи
