설명
Qwen3-8B는 Alibaba의 Qwen 팀에서 개발한 Qwen3 계열의 대형 언어 모델로, Apache 2.0 라이선스 하에 Hugging Face에서 오픈 가중치로 출시되었습니다. 82억 개의 총 매개변수(임베딩 제외 시 69.5억 개)를 가진 밀집형 인과(디코더 전용) 언어 모델로, 36개의 레이어와 32개의 쿼리 헤드 및 8개의 키/값 헤드를 가진 그룹화된 쿼리 주의를 특징으로 합니다.
더 읽기
이 모델의 주요 특징은 단일 모델 내에서 두 가지 모드 간 전환이 가능하다는 점입니다: 복잡한 논리적 추론, 수학 및 코딩을 위한 사고 모드와 더 빠른 일반 대화를 위한 비사고 모드입니다. Qwen은 사고 모드가 이전 QwQ 모델의 추론 성능을 개선하고, 비사고 모드가 Qwen2.5-instruct의 성능을 수학, 코드 생성 및 상식 추론 벤치마크에서 개선한다고 보고합니다.
이 모델은 기본적으로 32,768 토큰의 컨텍스트 창을 지원하며, YaRN 스케일링을 사용하여 131,072 토큰으로 확장할 수 있습니다. 도구 사용 및 에이전트 스타일 작업을 위해 설계되었으며, Qwen은 사고 및 비사고 모드 모두에서 외부 도구와 정확하게 통합된다고 주장합니다. 또한 채팅 템플릿에는 함수 및 도구 호출에 대한 명시적 지원이 포함되어 있습니다. 100개 이상의 언어 및 방언에 대한 지침 따르기 및 번역도 지원합니다.
Qwen3-8B는 Hugging Face Transformers 라이브러리(버전 4.51.0 이상 필요)와 함께 사용하기 위해 배포되며, 일반적인 로컬 및 클라우드 추론 도구와 호환됩니다; 이전 Transformers 버전을 사용할 경우 "KeyError: 'qwen3'" 오류가 발생하며, 이는 이 아키텍처에 대한 지원이 이 릴리스를 위해 특별히 추가되었기 때문입니다. Hugging Face에서 이 모델은 지난 한 달 동안 1,200만 회 이상 다운로드되었으며, 총 1억 2,600만 회 이상 다운로드되어 Qwen3 계열에서 가장 널리 사용되는 모델 중 하나가 되었습니다. Qwen은 모델과 함께 기본 아키텍처 및 평가 방법론을 다룬 지원 연구 논문도 발표했습니다. 이는 강력한 추론 및 도구 사용 기능을 갖춘 더 작고 자체 호스팅 가능한 모델이 필요한 애플리케이션을 구축하는 개발자를 대상으로 하고 있으며, 비기술적 최종 사용자를 대상으로 하지는 않습니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드, 셀프 호스팅
- 플랫폼웹
Qwen3-8B 하이라이트
82억 매개변수를 가진 밀집형 인과 언어 모델(임베딩 제외 시 69.5억)
하나의 모델 내에서 전환 가능한 사고 모드(추론, 수학, 코드) 및 비사고 모드(빠른 대화)
그룹화된 쿼리 주의를 가진 36개 레이어(32개 쿼리 헤드, 8개 키/값 헤드)
기본 32,768 토큰 컨텍스트, YaRN을 사용하여 131,072 토큰으로 확장 가능
채팅 템플릿을 통한 내장 도구/함수 호출 지원
100개 이상의 언어에 대한 지침 따르기 및 번역 지원
Apache 2.0 라이선스 하에 공개된 가중치
Hugging Face Transformers(4.51.0 이상) 및 일반 추론 도구와 호환
Qwen3-8B 시작하기
종속성 설치: 최신 버전의 Hugging Face Transformers(4.51.0 이상)를 설치합니다.
모델 로드: AutoModelForCausalLM 및 AutoTokenizer를 사용하여 Qwen/Qwen3-8B를 로드합니다.
모드 선택: 사고 작업을 위해 enable_thinking을 True로 설정하거나 더 빠른 일반 대화를 위해 False로 설정합니다.
프롬프트 형식 지정: 모델의 채팅 템플릿을 적용하여 메시지를 구조화하고, 도구 정의를 포함합니다.
응답 생성: 생성을 실행하고, 사고 모드의 경우 최종 답변과 별도로 추론 내용을 파싱합니다.
Qwen3-8B의 사용 사례
- 추론 및 수학 작업
- 일반 채팅 애플리케이션
- 에이전트 및 도구 호출 워크플로우
- 다국어 애플리케이션
