Описание
HuggingFaceH4/zephyr-7b-beta — это языковая модель с 7 миллиардами параметров, дообученная версия mistralai/Mistral-7B-v0.1. Она была обучена с использованием Direct Preference Optimization (DPO) на смеси общедоступных и синтетических наборов данных. Этот подход, который включает удаление присущего наборам данных выравнивания, привел к улучшению производительности на таких бенчмарках, как MT-Bench и AlpacaEval, позиционируя Zephyr-7B-β как высокопроизводительный диалоговый ИИ.
Читать далее
Модель в первую очередь предназначена для задач на английском языке и распространяется под лицензией MIT. Ее архитектура похожа на GPT, и она была дообучена на разнообразных синтетических диалогах, сгенерированных ChatGPT, и дополнительно выровнена с использованием DPOTrainer из библиотеки 🤗 TRL на наборе данных openbmb/UltraFeedback. Этот набор данных состоит из 64 000 запросов и соответствующих ответов модели, ранжированных GPT-4, что способствует полезности модели.
Zephyr-7B-β демонстрирует высокую производительность, занимая первое место среди 7B чат-моделей на MT-Bench и AlpacaEval на момент выпуска. Она показывает конкурентоспособные результаты по сравнению с более крупными открытыми моделями, такими как Llama2-Chat-70B, по нескольким категориям MT-Bench. Однако производительность модели в сложных задачах, таких как программирование и математика, может уступать проприетарным моделям, что указывает на области для будущих исследований и разработок.
Хотя Zephyr-7B-β отлично подходит для чат-приложений, важно отметить ее ограничения. Она не прошла такое же выравнивание безопасности или фильтрацию в процессе обучения, как модели вроде ChatGPT, что означает, что она может генерировать проблемный текст, если ее об этом попросить. Пользователи должны осознавать эту возможность генерации нежелательных выходных данных. Основа модели, mistralai/Mistral-7B-v0.1, вероятно, обученная на смеси веб-данных, книг и кода, способствует ее широким возможностям.
Интеграция с Zephyr-7B-β может быть достигнута с помощью функции `pipeline()` из библиотеки 🤗 Transformers. Модель поддерживает шаблоны чата для структурированного диалогового ввода. Предоставленный пример демонстрирует, как настроить модель для генерации текста, включая системные сообщения и сообщения пользователя, а также как отформатировать запрос для оптимального взаимодействия.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о HuggingFaceH4/zephyr-7b-beta
Дообучена на основе Mistral-7B-v0.1
Обучена с использованием Direct Preference Optimization (DPO)
Преимущественно поддержка английского языка
7 миллиардов параметров
Высокая производительность на бенчмарках MT-Bench и AlpacaEval
Подходит для чат-приложений
Выпуск с открытым исходным кодом под лицензией MIT
Может генерировать проблемный текст при соответствующем запросе
Поддерживает шаблоны чата для диалогового ввода
Начало работы с HuggingFaceH4/zephyr-7b-beta
Доступ к модели: Загрузите модель HuggingFaceH4/zephyr-7b-beta с помощью библиотеки Transformers.
Настройка среды: Установите необходимые библиотеки, такие как transformers и accelerate.
Интеграция через API: Используйте функцию `pipeline()` для задач генерации текста.
Форматирование ввода: Используйте шаблон чата токенизатора модели для структурирования диалоговых сообщений.
Генерация текста: Предоставьте отформатированные запросы конвейеру для получения ответов модели.
Оптимизация вывода: Настройте параметры генерации, такие как `max_new_tokens`, `temperature`, `top_k` и `top_p`.
Варианты использования HuggingFaceH4/zephyr-7b-beta
- Диалоговый ИИ
- Разработка чат-ботов
- Генерация текста
- Языковая помощь
- Оценка по бенчмаркам
