Описание
Гофер — это трансформерная языковая модель с 280 миллиардами параметров от Google DeepMind, крупнейшая в семействе моделей, которые команда обучила, с количеством параметров от 44 миллионов до 280 миллиардов. Она была представлена в декабре 2021 года вместе с двумя сопутствующими статьями: одной о этических и социальных рисках языковых моделей и одной, предлагающей RETRO, архитектуру обучения с улучшенным извлечением.
Читать далее
DeepMind обучила семейство моделей, чтобы изучить, где увеличение масштаба помогает производительности языковых моделей, а где нет. Гофер значительно продвинулся к производительности человеческих экспертов по эталону Massive Multitask Language Understanding (MMLU) по сравнению с предыдущими работами, и исследование показало приросты от масштаба по задачам, таким как понимание прочитанного, проверка фактов и идентификация токсичного языка. Однако масштаб не улучшил производительность в значительной степени по задачам логического рассуждения и здравого смысла.
Помимо оценок по эталонам, DeepMind исследовала Гофера через прямое взаимодействие. Когда модель вызывалась в формате диалога, она иногда могла обсуждать такие темы, как клеточная биология, с удивительной связностью и правильной ссылкой, несмотря на отсутствие специфической настройки для диалога. Исследование также задокументировало режимы сбоев, которые сохранялись на разных размерах моделей: тенденция к самоповторению, отражение стереотипных предвзятостей и утверждение неверной информации с неоправданной уверенностью.
Сопутствующая статья релиза построила таксономию этических и социальных рисков языковых моделей, охватывающую шесть тематических областей и 21 риск в глубину, предназначенную в качестве основы для оценки и смягчения этих проблем. Вторая сопутствующая статья представила RETRO, который запрашивает отрывки текста во время генерации, снижая затраты на обучение и позволяя отслеживать выходные данные обратно к исходным отрывкам, при этом соответствуя производительности гораздо более крупного стандартного трансформера с гораздо меньшим количеством параметров.
Гофер нацелен на исследователей ИИ, изучающих масштабирование языковых моделей, оценку и безопасность. Это исследовательский релиз, задокументированный через пост в блоге DeepMind и статьи, а не продукт с публичным API или загружаемыми весами, и DeepMind позже использовала стоимость вычислений для обучения Гофера в качестве отправной точки для разработки его более эффективного преемника, Чинчиллы.
- КатегорияИИ-модели и LLM
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Гофер
трансформерная языковая модель с 280 миллиардами параметров, часть семейства от 44 миллионов до 280 миллиардов параметров
Улучшает производительность по эталону Massive Multitask Language Understanding (MMLU)
Оценена по эталонам, включая понимание прочитанного, проверку фактов и идентификацию токсичного языка
Может поддерживать связный, цитируемый диалог по техническим темам без специфической настройки для диалога
Задокументированные режимы сбоев на разных размерах моделей: повторение, стереотипные предвзятости и уверенное утверждение дезинформации
Выпущена с таксономией этических и социальных рисков в языковых моделях, охватывающей 21 риск в шести темах
Сопутствует RETRO, архитектуре с улучшенным извлечением с меньшими затратами на обучение
Начало работы с Гофер
Прочитайте пост о релизе: начните с поста в блоге DeepMind, представляющего Гофера и его две сопутствующие статьи.
Просмотрите результаты эталонов: проверьте оценки Гофера по MMLU, пониманию прочитанного и задачам токсичного языка по сравнению с меньшими моделями в семействе.
Прочитайте таксономию рисков: ознакомьтесь с сопутствующей статьей о этических и социальных рисках, чтобы понять задокументированные режимы сбоев.
Сравните с RETRO: прочитайте о архитектуре с улучшенным извлечением, выпущенной вместе с Гофером.
Варианты использования Гофер
- Исследование масштаба модели
- Оценка рисков языковой модели
- Моделирование с улучшенным извлечением
