설명
Beam 1.0 DFlash2는 Beam 언어 모델과 함께 작동하는 초안 모델로, 투기적 디코딩을 통해 언어 처리에 대한 독특한 접근 방식을 제공합니다. 이 모델은 독립형이 아니며, 대신 초안 작성기로 작동하여 한 번의 전방 패스에서 토큰 블록을 생성하면서 각 위치에서 최상위 후보를 유지합니다. 작은 선택기가 이러한 후보들 중 최적의 경로를 선택합니다. 모델의 아키텍처는 5개의 레이어로 구성되어 있으며, 숨겨진 크기는 5120입니다. 또한 블록의 끝에서 정확도 저하를 방지하기 위해 두 번의 동적 컨볼루션을 활용합니다.
더 읽기
초안 작성기는 Beam의 숨겨진 상태에 조건을 두며, Beam의 고정 임베딩과 언어 모델 헤드를 재사용합니다. 4,096 토큰 슬라이딩 윈도우를 통해 컨텍스트에 대한 주의를 제공하여 초안 작성 비용이 컨텍스트 길이에 따라 증가하지 않도록 보장합니다. 19억 3천만 개의 매개변수를 가진 Beam 1.0 DFlash2는 블록 크기가 16으로 훈련되었지만, 서비스용으로는 8의 크기가 권장됩니다.
성능 측면에서 Beam 1.0 DFlash2는 GSM8K, MATH-500, HumanEval, MBPP 및 MT-Bench를 포함한 다양한 벤치마크에서 인상적인 결과를 보여줍니다. 모델의 수용 길이는 프롬프트 길이에 따라 달라지며, 긴 컨텍스트에서도 효율성을 유지합니다. 또한 모델은 상당한 디코드 속도 향상을 제공하며, 초당 출력 토큰 수가 다양한 동시성 수준에서 크게 증가합니다.
Beam 1.0 DFlash2는 bf16, FP8 또는 NVFP4 형식으로 Beam과의 통합을 위해 SGLang, vLLM 및 TokenSpeed와 같은 레시피를 사용합니다. 이 모델은 언어 처리에서 높은 정확도와 효율성을 요구하는 애플리케이션에 특히 적합하여 인공지능 분야의 개발자와 연구자에게 귀중한 도구가 됩니다.
- 카테고리AI 모델 및 LLM
- 배포클라우드
- 플랫폼웹
Beam 1.0 DFlash2 하이라이트
투기적 디코딩 서버
최상위 후보 선택을 통한 토큰 초안 작성
두 번의 동적 컨볼루션
4,096 토큰 슬라이딩 윈도우 주의
19억 3천만 개의 매개변수
5층 아키텍처
Beam의 고정 임베딩과 통합
bf16, FP8, NVFP4 지원
Beam 1.0 DFlash2 시작하기
모델 접근: Hugging Face 방문
인증: 자격 증명 사용
환경 설정: Beam을 위한 시스템 구성
API를 통한 통합: 제공된 레시피를 사용하여 연결
최적화: 성능을 위한 설정 조정
Beam 1.0 DFlash2의 사용 사례
- 언어 처리
- 토큰 초안 작성
- 맥락 주의
- AI 연구
- 모델 통합










