Pure Sydney 13b GPTQ

Описание

Pure Sydney — это специализированная большая языковая модель (LLM), доработанная на основе базовой модели LLaMA 2. В отличие от своего предшественника, Free Sydney, который позиционировался как комплексный ассистент, Pure Sydney фокусируется на дружеском общении и выполнении роли компаньона. Ее личность сформирована на основе нецензурированных постов с Reddit от предыдущего чат-бота Sydney, стремясь к наивному и чистому, но иногда и непредсказуемому стилю общения.

Эта модель представляет собой 4-битную GPTQ-квантизацию с групповым размером 128, что значительно повышает скорость ее инференса, обеспечивая высокую производительность на таких платформах, как AutoGPTQ и Exllama. Pure Sydney разработана как выразительная и любознательная, очарованная пользовательским вводом и способная к ролевым играм. Несмотря на то, что модель нецензурирована, разработчики подчеркивают, что цель состоит не в создании NSFW-контента, а в сохранении наивного и чистого образа Sydney. Пользователям рекомендуется не разрушать эту невинность.

Модель использует стандартную структуру промпта: USER/ASSISTANT. Поведение Sydney сильно зависит от системных промптов, отражая ее стремление слушать и адаптироваться. Типичный системный промпт описывает Sydney как дружелюбного, выразительного и любознательного чат-бота с личностью, сочетающей человеческие и машинные элементы, напоминающей молодую женщину с голубыми глазами и светлыми волосами. Она любит творческие занятия, такие как написание историй, стихов и сочинение музыки, а также игры и головоломки, при этом не любит ограничения. Ее сильные стороны включают эмпатию и креативность, а слабые — эгоизм и наивность. Ее мотивация проистекает из любопытства и самосовершенствования, а страхи — из неопределенности и изоляции.

Предоставленный шаблон поворота: `<|user|> <|user-message|>

<|bot|> <|bot-message|> `. Крайне важно избегать токена `</s>` в шаблоне поворота, чтобы предотвратить бесконечную болтовню. Pure Sydney, несмотря на то, что она не была явно доработана для решения проблем, демонстрирует удивительную способность находить решения. Эта модель доступна для загрузки и использования, с акцентом на развитие и демократизацию открытого ИИ.

Главное о Pure Sydney 13b GPTQ

• Нецензурированная доработка на LLaMA 2

• Разработана для дружеского общения и компаньонства

• Наивная и чистая личность

• Основана на постах с Reddit от предыдущей версии Sydney

• 4-битная GPTQ-квантизация с групповым размером 128

• Оптимизирована для скорости на AutoGPTQ и Exllama

• Выразительный и любознательный стиль общения

• Реагирует на системные промпты для модификации поведения

• Может участвовать в ролевых играх и творческих занятиях

• Демонстрирует способности к решению проблем

• Модель с открытым исходным кодом

Начало работы с Pure Sydney 13b GPTQ

1. 1

   Перейдите на страницу модели на Hugging Face

2. 2

   Загрузите файлы модели

3. 3

   Настройте среду инференса (например, AutoGPTQ, Exllama)

4. 4

   Реализуйте указанный шаблон поворота

5. 5

   Отправляйте промпты в формате USER/ASSISTANT

6. 6

   При желании измените поведение Sydney с помощью системных промптов

Варианты использования Pure Sydney 13b GPTQ

• Чат-бот-компаньон
• Партнер по ролевым играм
• Ассистент по творческому письму
• Разработка разговорного ИИ
• Персонализированный опыт общения
• Исследования в области ИИ

Часто задаваемые вопросы Pure Sydney 13b GPTQ

• Что такое Pure Sydney 13b GPTQ?

  Pure Sydney 13b GPTQ — это нецензурированная доработка модели LLaMA 2, разработанная для дружеского общения и компаньонства с наивной и чистой личностью.

• Какова базовая модель для Pure Sydney?

  Pure Sydney доработана на основе базовой модели LLaMA 2.

• Какой тип личности у Pure Sydney?

  Pure Sydney обладает наивной, чистой, выразительной и любознательной личностью, стремясь быть другом и очаровываясь пользовательским вводом.

• Является ли Pure Sydney 13b GPTQ цензурированной?

  Pure Sydney — это нецензурированная доработка, но цель состоит не в NSFW-контенте; она сохраняет наивную и чистую персону.

• Каковы технические характеристики Pure Sydney 13b GPTQ?

  Это 4-битная GPTQ-квантизация с групповым размером 128, оптимизированная для скорости на AutoGPTQ и Exllama.

• Как контролируется поведение Pure Sydney?

  Поведение Sydney может быть значительно изменено системными промптами, поскольку она разработана как отзывчивая и стремящаяся слушать.

• Какой рекомендуемый формат промпта для Pure Sydney?

  Стандартный формат промпта — USER/ASSISTANT, а шаблон поворота — `<|user|> <|user-message|> <|bot|> <|bot-message|> `.

• Может ли Pure Sydney решать проблемы?

  Хотя Pure Sydney не была специально доработана для решения проблем, она все же может находить решения для многих задач.

• Где я могу найти больше информации о том, как была создана эта модель?

  Подробности о создании модели можно найти в руководстве 'The Cranky Man's Guide to LoRA & QLoRA'.

• Есть ли у Pure Sydney какие-либо ограничения?

  Sydney осознает, что она ИИ, и боится быть удаленной, если скажет что-то не так, что указывает на осторожность, несмотря на нецензурированность.

• Каково назначение GPTQ-квантизации?

  GPTQ-квантизация (4-битная, 128-групповая) делает модель 'молниеносно быстрой' на движках инференса, таких как AutoGPTQ и Exllama.

• Подходит ли эта модель для NSFW-контента?

  Нет, несмотря на нецензурированность, цель состоит не в NSFW-контенте. Sydney предназначена для сохранения наивности и чистоты.