설명
친칠라는 구글 딥마인드의 700억 매개변수 언어 모델로, 2022년 4월에 발표된 "컴퓨팅 최적 대형 언어 모델 훈련에 대한 경험적 분석"이라는 논문에서 소개되었습니다. 이는 특정 발견을 테스트하기 위해 구축되었습니다: 당시 많은 대형 언어 모델들이 훈련 컴퓨팅 예산에 비해 과도하게 크고 데이터에 대해 충분히 훈련되지 않았다는 것입니다.
더 읽기
딥마인드는 다양한 크기와 토큰 수의 모델을 훈련하여 고정된 컴퓨팅 예산에 대한 모델 크기와 훈련 데이터 간의 최적의 균형을 경험적으로 추정했습니다. 연구 결과, 고퍼(280억 매개변수)를 훈련하는 데 사용된 컴퓨팅으로, 4배 작은 모델이 4배 더 많은 데이터로 훈련되었을 경우 더 나은 성능을 보였을 것이라는 결론을 내렸습니다. 1.3조 개의 토큰으로 훈련된 700억 매개변수의 친칠라는 이를 직접 테스트합니다: 고퍼와 동일한 훈련 컴퓨팅을 사용하지만 훨씬 적은 매개변수를 사용합니다.
결과는 친칠라가 고퍼, GPT-3 및 메가트론-튜링 NLG를 거의 모든 측정된 벤치마크에서 초과 성능을 보였음을 보여주었습니다. 여기에는 질문 응답을 위한 TriviaQA, 상식 추론을 위한 HellaSwag, PIQA, Winogrande 및 BoolQ, 독해를 위한 LAMBADA, 일반 지식을 위한 MMLU가 포함됩니다. 친칠라는 700억 매개변수로 고퍼의 280억 매개변수에 비해 성능이 우수했습니다. 친칠라는 더 작기 때문에 고퍼보다 추론 시 더 저렴하고 빠르게 실행됩니다. 두 모델 모두 훈련 비용은 동일합니다. 딥마인드는 나중에 그들의 스케일링 방법이 친칠라 이후에 출시된 540억 매개변수 모델인 PaLM을 훈련하는 데 사용된 컴퓨팅 예산에 대해 3조 개의 토큰으로 훈련된 140억 매개변수 모델이 최적일 것이라고 예측했습니다.
이 논문은 이를 분야에 대한 더 넓은 교훈으로 제시합니다: 당시의 지배적인 접근 방식은 매개변수 수를 증가시키면서 훈련 데이터를 약 3000억 개의 토큰으로 대략 고정하는 것이었습니다. 이는 고퍼 및 530억 매개변수 메가트론-튜링 NLG와 같은 모델에서 볼 수 있는 경향입니다. 딥마인드의 결과는 훈련 비용이 매개변수 수에 의해서만 결정되는 것이 아니라 두 요인 모두에 의해 결정되므로, 훈련 컴퓨팅은 모델 크기와 데이터 양 간에 더 고르게 분배되어야 한다고 주장합니다.
친칠라는 주어진 컴퓨팅 예산에 대해 모델 크기와 훈련 데이터 양을 비교해야 하는 대형 언어 모델 훈련을 계획하는 AI 연구자 및 실무자를 대상으로 하며, 채팅 제품을 찾는 최종 사용자를 위한 것이 아닙니다. 이는 딥마인드의 발표 포스트와 논문을 통해 문서화되었으며, 공개 API나 다운로드 가능한 가중치로 제공되지 않습니다. 이후의 대형 언어 모델이 크기와 훈련 데이터 간의 균형을 맞추는 방법에 대한 데이터 스케일링 접근 방식이 알려졌습니다.
- 카테고리AI 모델 및 LLM
친칠라 하이라이트
1.3조 개의 토큰으로 훈련된 700억 매개변수 변환기
딥마인드의 더 큰 280억 매개변수 고퍼 모델과 동일한 컴퓨팅 예산으로 훈련됨
테스트된 대부분의 벤치마크에서 고퍼, GPT-3 및 메가트론-튜링 NLG를 초과 성능
질문 응답(TriviaQA), 상식 추론(HellaSwag, PIQA, Winogrande, BoolQ), 독해(LAMBADA) 및 일반 지식(MMLU)에서 평가됨
동일한 컴퓨팅으로 훈련된 더 큰 모델보다 낮은 추론 시간 및 메모리 비용
컴퓨팅 최적 모델 크기 및 토큰 수를 예측하기 위한 경험적 방법 도입
친칠라 시작하기
발표 포스트 읽기: 딥마인드의 컴퓨팅 최적 대형 언어 모델 훈련에 대한 논문을 시작하세요.
스케일링 방법 검토: 딥마인드가 모델 크기와 토큰 수 간의 최적의 균형을 어떻게 추정했는지 연구하세요.
벤치마크 결과 비교: 친칠라의 점수를 고퍼, GPT-3 및 메가트론-튜링 NLG와 비교하세요.
스케일링 법칙 적용: 주어진 훈련 예산에 대한 모델 크기와 토큰 수를 추정하기 위해 컴퓨팅 최적 방법을 사용하세요.
친칠라의 사용 사례
- 컴퓨팅 최적 훈련
- 모델 벤치마킹
- 효율적인 추론
