설명
Gopher는 Google DeepMind의 2800억 매개변수 변환기 언어 모델로, 팀이 훈련한 모델군 중 가장 큰 모델입니다. 이 모델군은 4400만에서 2800억 매개변수에 이릅니다. Gopher는 2021년 12월에 윤리적 및 사회적 위험에 대한 논문과 RETRO라는 검색 강화 훈련 아키텍처를 제안하는 논문과 함께 소개되었습니다.
더 읽기
DeepMind는 모델군을 훈련하여 증가하는 규모가 언어 모델 성능에 도움이 되는지, 그렇지 않은지를 연구했습니다. Gopher는 이전 작업에 비해 대규모 다중 작업 언어 이해(MMLU) 벤치마크에서 인간 전문가 성능에 상당히 근접했습니다. 연구 결과는 독해, 사실 확인 및 유해 언어 식별과 같은 작업에서 규모의 이점을 보여주었습니다. 그러나 논리적 추론 및 상식 작업에서는 성능이 의미 있게 향상되지 않았습니다.
벤치마크 점수 외에도 DeepMind는 Gopher를 직접 상호작용을 통해 탐구했습니다. 대화 형식으로 프롬프트를 제공했을 때, 모델은 때때로 세포 생물학과 같은 주제에 대해 놀라운 일관성과 정확한 인용을 가지고 논의할 수 있었습니다. 이는 대화 특정 미세 조정이 없었음에도 불구하고 이루어진 결과입니다. 연구는 또한 모델 크기 전반에 걸쳐 지속된 실패 모드를 문서화했습니다: 자기 반복 경향, 고정관념적 편향 반영, 그리고 근거 없는 자신감으로 잘못된 정보를 진술하는 경향이 있었습니다.
이 발표의 동반 논문은 언어 모델의 윤리적 및 사회적 위험에 대한 분류 체계를 구축하였으며, 6개의 주제 영역과 21개의 위험을 심층적으로 다루어 이러한 문제를 평가하고 완화하기 위한 기초로 삼고자 하였습니다. 두 번째 동반 논문은 RETRO를 소개하였으며, 이는 생성 중 텍스트 구문을 쿼리하여 훈련 에너지 비용을 줄이고 출력을 원본 구문으로 추적할 수 있게 하며, 훨씬 적은 매개변수로 훨씬 더 큰 표준 변환기의 성능을 일치시킵니다.
Gopher는 언어 모델의 규모, 평가 및 안전성을 연구하는 AI 연구자들을 위한 것입니다. 이는 공공 API나 다운로드 가능한 가중치가 있는 제품이 아닌 DeepMind의 블로그 게시물과 논문을 통해 문서화된 연구 발표입니다. DeepMind는 나중에 Gopher의 훈련 컴퓨팅 비용을 데이터 효율성이 더 높은 후속 모델인 Chinchilla 개발의 기준점으로 사용했습니다.
- 카테고리AI 모델 및 LLM
- 배포클라우드
- 플랫폼웹
Gopher 하이라이트
2800억 매개변수 변환기 언어 모델로, 4400만에서 2800억 매개변수에 이르는 모델군의 일부입니다.
대규모 다중 작업 언어 이해(MMLU) 벤치마크에서 성능을 향상시킵니다.
독해, 사실 확인 및 유해 언어 식별을 포함한 벤치마크에서 평가되었습니다.
대화 특정 미세 조정 없이 기술 주제에 대해 일관되고 인용된 대화를 유지할 수 있습니다.
모델 크기 전반에 걸쳐 문서화된 실패 모드: 반복, 고정관념적 편향 및 자신감 있게 잘못된 정보 진술.
언어 모델의 윤리적 및 사회적 위험에 대한 분류 체계와 함께 출시되었으며, 6개의 주제에서 21개의 위험을 다룹니다.
더 낮은 훈련 에너지 비용을 가진 검색 강화 아키텍처인 RETRO의 동반 모델입니다.
Gopher 시작하기
발표 게시물 읽기: Gopher와 두 개의 동반 논문을 소개하는 DeepMind의 블로그 게시물로 시작하세요.
벤치마크 결과 검토: Gopher의 MMLU, 독해 및 유해 언어 작업 점수를 모델군의 더 작은 모델과 비교하세요.
위험 분류 체계 읽기: 문서화된 실패 모드를 이해하기 위해 윤리적 및 사회적 위험에 대한 동반 논문을 검토하세요.
RETRO와 비교: Gopher와 함께 출시된 검색 강화 아키텍처에 대해 읽어보세요.
Gopher의 사용 사례
- 모델 규모 연구
- 언어 모델 위험 평가
- 검색 강화 모델링
