설명
Meena는 개방형 도메인 대화형 AI의 중요한 발전을 나타내며, 종종 합리성과 구체성이 부족한 현재 챗봇의 치명적인 결함을 해결합니다. Google Research에서 개발한 이 26억 개의 매개변수를 가진 종단 간 학습 신경망 모델은 사용자가 원하는 거의 모든 것에 대해 대화할 수 있도록 설계되어 전문화된 챗봇의 한계를 넘어섭니다.
핵심적으로 Meena는 진화 신경망 아키텍처 검색을 통해 발견된 변형인 Evolved Transformer seq2seq 아키텍처를 사용하여 혼란도(perplexity)를 최적화합니다. 이 모델은 대화 컨텍스트를 처리하기 위한 단일 인코더 블록과 응답을 생성하기 위한 13개의 디코더 블록으로 구성됩니다. 이 아키텍처를 통해 Meena는 이전 대화 턴을 이해하고 관련성 있는 응답을 구성할 수 있습니다. 학습 목표는 대화에서 다음 단어를 예측하는 불확실성의 척도인 혼란도를 최소화하는 데 중점을 둡니다. 광범위한 하이퍼파라미터 튜닝을 통해 연구원들은 더 강력한 디코더가 대화 품질을 향상시키는 데 중요하다고 밝혔습니다.
Meena 학습을 위한 대화는 트리 스레드로 구성되며, 각 응답은 턴으로 간주됩니다. 학습 예제는 이러한 스레드를 통한 경로로 추출되며, 일반적으로 컨텍스트 깊이와 메모리 제약 조건을 균형 있게 맞추기 위해 7개의 턴 컨텍스트를 사용합니다. Meena는 공개 소셜 미디어 대화에서 필터링된 341GB의 텍스트 데이터로 학습되었습니다. 주목할 만하게도, 당시 선도적인 생성 모델이었던 OpenAI의 GPT-2보다 1.7배 더 큰 모델 용량을 자랑하며 8.5배 더 많은 데이터로 학습되었습니다.
Meena의 성능을 평가하기 위해 Sensibleness and Specificity Average(SSA)라는 새로운 인간 평가 지표가 도입되었습니다. SSA는 챗봇의 응답이 얼마나 합리적이고 맥락적으로 관련성이 있는지를 포착합니다. Meena 및 Mitsuku, Cleverbot, XiaoIce, DialoGPT와 같은 다른 챗봇과의 크라우드소싱 대화를 통해 Meena는 인간 성능 수준에 근접하는 우수한 SSA 점수를 보여주었습니다. 또한, 연구원들은 혼란도와 SSA 사이에 강한 상관관계가 있음을 발견했으며, 이는 혼란도가 대화 품질을 평가하는 데 신뢰할 수 있는 자동 지표 역할을 하여 향후 개발을 가속화할 수 있음을 시사합니다.
Meena는 유망한 성능을 보여주지만, 지속적인 연구는 혼란도를 더욱 줄이고, 개성 및 사실성과 같은 속성을 탐색하며, 안전 및 편향 문제를 비판적으로 해결하는 데 중점을 두고 있습니다. 팀은 이 분야의 추가 연구를 촉진하기 위해 모델 체크포인트 공개의 잠재적 위험과 이점을 평가하고 있습니다.
Meena 대화형 에이전트 하이라이트
종단 간 학습 신경망 대화 모델
26억 개의 매개변수
Evolved Transformer seq2seq 아키텍처
컨텍스트 처리를 위한 단일 인코더 블록
응답 생성을 위한 13개의 디코더 블록
341GB의 소셜 미디어 대화로 학습됨
학습 목표로서 혼란도 최소화
높은 합리성 및 구체성 평균(SSA) 점수 달성
혼란도와 SSA 간의 강한 상관관계
개방형 도메인 대화를 위해 설계됨
Meena 대화형 에이전트 시작하기
모델 액세스: Meena 모델을 연구 구현을 통해 활용합니다.
환경 설정: 필요한 컴퓨팅 리소스와 라이브러리를 준비합니다.
API를 통한 통합: 대화 입력 및 출력을 위해 모델의 인터페이스에 연결합니다.
대화 컨텍스트 제공: 모델이 처리할 이전 대화 턴을 입력합니다.
응답 생성: 주어진 컨텍스트에 대한 모델의 생성된 응답을 받습니다.
출력 평가: 생성된 응답의 합리성과 구체성을 평가합니다.
Meena 대화형 에이전트의 사용 사례
- 개방형 도메인 채팅
- 언어 연습
- 대화형 엔터테인먼트
- 인간-컴퓨터 상호작용
- AI 연구 플랫폼
