본문으로 건너뛰기
ToolPotion
AI 어드바이저
제출 (무료)

ERNIE-5.5-Flash-Base

아직 평가가 없습니다
LLMAI 모델 및 LLM오픈소스 · 웹

ERNIE-5.5-Flash-Base는 280B의 총 매개변수를 가진 효율적인 희소 전문가 혼합(MoE) 언어 모델로, 텍스트 생성을 위해 설계되었습니다. 33.5T 토큰으로 사전 훈련되었으며, 1M 토큰 컨텍스트로 미세 조정 및 추론을 지원합니다. 이 모델은 도메인 적응, 지침 조정 및 강화 학습 연구를 위한 강력한 출발점을 제공하며, 다양한 벤치마크에서 뛰어난 성능을 보여줍니다.

URL 방문
공유
ERNIE-5.5-Flash-Base 스크린샷
ERNIE-5.5-Flash-Base 스크린샷

설명

ERNIE-5.5-Flash-Base는 Baidu에서 개발한 정교한 텍스트 생성 모델로, Hugging Face에서 사용할 수 있습니다. 이는 2800억 개의 총 매개변수를 가진 효율적인 희소 전문가 혼합(MoE) 언어 모델로, 토큰당 140억 개가 활성화됩니다. 이 모델은 33.5조 개의 방대한 데이터셋에서 처음부터 사전 훈련되었으며, 최대 128K의 훈련 컨텍스트를 활용합니다. 미세 조정 및 추론을 위해 인상적인 1M 토큰 컨텍스트 길이를 지원합니다.

더 읽기

효율성을 핵심 목표로 설계된 ERNIE 5.5 Flash는 주의 메커니즘, 잔여 연결, MoE 레이어 및 출력 헤드에 이르기까지 모든 구성 요소를 재검토합니다. 이 전체적인 접근 방식은 활성화된 계산, KV 캐시 및 긴 컨텍스트 비용을 통합 설계의 일부로 고려합니다. 사전 훈련 데이터는 훈련 후 구축하기 어려운 기능, 예를 들어 저장소 규모의 코드 이해 및 긴 컨텍스트 이해를 강조합니다. 훈련 시스템은 효율적인 확장을 보장하기 위해 아키텍처와 함께 공동 설계되었습니다.

ERNIE-5.5-Flash-Base는 사전 훈련이 끝난 후의 체크포인트를 나타내며, 개발자에게 이상적인 기초를 제공합니다. 이는 도메인 적응, 지침 조정 및 강화 학습 연구를 가능하게 합니다. 이 모델은 지식, 추론, 수학, 코드, 다국어 작업 및 긴 컨텍스트 벤치마크를 포함한 통합 평가 파이프라인에서 강력한 결과를 보여줍니다. 그 성능은 DeepSeek-V4-Flash-Base, Hy3-preview-Base 및 MiMo-V2.5-Base와 같은 다른 대형 모델과 비교되며, 모두 일관된 조건에서 평가됩니다.

아키텍처는 43개의 레이어를 포함하는 280B-A14B 하이브리드 주의 MoE를 통합하고 있으며, 1개의 밀집 FFN과 42개의 다중 라우터 잠재 MoE 레이어가 포함되어 있습니다. 37개의 강력하게 압축된 주의(HCA) 레이어와 희소 주의(MLA + DSA)를 가진 6개의 다중 헤드 잠재 주의 레이어가 특징입니다. 이 모델은 MoE 레이어당 512개의 라우팅된 전문가(상위 10개)와 1개의 공유 전문가를 활용합니다. 주요 혁신에는 레이어별 헤드 차원을 가진 하이브리드 MLA + HCA 주의, 저순위 게이트 주의, 가상 헤드 주의(VHA), 다중 라우터 잠재 MoE, 미래 토큰 예측을 위한 ECHO, 신호 전파를 위한 다양체 제약 하이퍼 연결(mHC), 그리고 다중 최대 출력 헤드가 포함됩니다. 토크나이저는 약 200K 항목의 BPE 토크나이저를 사용하여 숫자를 오른쪽에서 왼쪽으로 최대 3자리 그룹으로 토큰화합니다.

ERNIE-5.5-Flash-Base의 배포는 SGLang 및 vLLM로 지원되며, 긴 컨텍스트 추론을 위해 최대 1,048,576 토큰의 컨텍스트 길이로 프로덕션 서비스를 가능하게 합니다. 이 모델은 ERNIE 5.5 Flash Base 모델 라이선스 계약 v1.0에 따라 제공되며, 저작권은 Baidu에 있습니다.

  • 카테고리AI 모델 및 LLM
  • 요금제오픈소스
  • 배포클라우드
  • 플랫폼웹

ERNIE-5.5-Flash-Base 하이라이트

  • 280B의 총 매개변수와 토큰당 14B 활성화

  • 33.5T 토큰으로 사전 훈련됨

  • 미세 조정 및 추론을 위한 1M 토큰 컨텍스트 지원

  • 효율적인 희소 전문가 혼합(MoE) 아키텍처

  • 레이어별 헤드 차원을 가진 하이브리드 MLA + HCA 주의

  • 저순위 게이트 주의 및 가상 헤드 주의(VHA)

  • 512개의 라우팅된 전문가와 1개의 공유 전문가를 가진 다중 라우터 잠재 MoE

  • 다중 수평 손실 및 추측 디코딩을 위한 ECHO

  • 신호 전파를 위한 다양체 제약 하이퍼 연결(mHC)

  • 세분화된 어휘 분포를 위한 다중 최대 출력 헤드

  • 오른쪽에서 왼쪽으로 숫자 토큰화를 지원하는 약 200K 항목의 BPE 토크나이저

  • SGLang 및 vLLM로 배포 지원

  • 지식, 추론, 수학, 코드, 다국어 및 긴 컨텍스트 벤치마크에서 강력한 성능

  • FP8 및 BF16 정밀도 가중치 사용 가능

ERNIE-5.5-Flash-Base 시작하기

  1. 모델 접근: Hugging Face의 ERNIE-5.5-Flash-Base 페이지로 이동합니다.

  2. 모델 다운로드: FP8(safetensors) 또는 BF16(safetensors) 정밀도 중에서 선택하여 다운로드합니다.

  3. 배포 도구 설치: vLLM 및 ERNIE 5.5 플러그인을 설치하거나 공식 SGLang 사전 구축된 Docker 이미지를 사용합니다.

  4. 서버 시작: vLLM 또는 SGLang 서버를 시작하여 모델을 호스팅합니다.

  5. 요청 전송: curl 또는 기타 API 클라이언트를 사용하여 텍스트 생성을 위한 완성 엔드포인트에 요청을 전송합니다.

  6. 모델 미세 조정: 사전 훈련된 체크포인트를 활용하여 도메인 적응, 지침 조정 또는 강화 학습 연구를 수행합니다.

ERNIE-5.5-Flash-Base의 사용 사례

  • 텍스트 생성
  • 도메인 적응
  • 지침 조정
  • 강화 학습 연구
  • 코드 생성 및 이해
  • 긴 컨텍스트 이해
  • 다국어 애플리케이션
  • 추론 작업

ERNIE-5.5-Flash-Base의 FAQ

Baidu의 제품

바이두 원신 어시스턴트의 모델입니다.

ERNIE-5.5-Flash-Base 리뷰

ERNIE-5.5-Flash-Base 리뷰

로딩 중...

ERNIE-5.5-Flash-Base와(과) 비슷한 인기 AI 도구

DeepSeek-V4-Pro

LLM

DeepSeek-V4-Pro는 효율적인 백만 토큰 컨텍스트 인텔리전스를 위해 설계된 고급 AI 모델입니다. 하이브리드 주의 아키텍처를 특징으로 하며, 32조 개 이상의 토큰으로 사전 훈련되어 복잡한 추론 작업 및 코딩 벤치마크에 적합합니다.

AI 모델 및 LLM
도구 보기

DeepSeek-V4-Pro

LLM

효율적인 백만 토큰 컨텍스트 인텔리전스를 위해 설계된 고급 AI 모델입니다. 하이브리드 주의 아키텍처를 특징으로 하며, 32조 개 이상의 토큰으로 사전 훈련되어 복잡한 추론 작업 및 코딩 벤치마크에 적합합니다.DeepSeek-V4-Pro는 효율적인 백만 토큰 컨텍스트 인텔리전스를 위해 설계된 고급 AI 모델입니다. 하이브리드 주의 아키텍처를 특징으로 하며, 32조 개 이상의 토큰으로 사전 훈련되어 복잡한 추론 작업 및 코딩 벤치마크에 적합합니다.

추천AI 모델 및 LLM
LLM TOP 50 보기

DeepSeek-V3

LLM

DeepSeek-V3는 6710억 개의 매개변수를 가진 전문가 혼합 언어 모델로, 효율적인 추론과 비용 효율적인 훈련을 위해 설계되었습니다. 자연어 처리 작업에서 강력한 성능을 보여주는 다양한 벤치마크에서 우수한 성능을 발휘합니다.

AI 모델 및 LLM

LLM 37위

도구 보기

DeepSeek-V3

LLM

6710억 개의 매개변수를 가진 전문가 혼합 언어 모델로, 효율적인 추론과 비용 효율적인 훈련을 위해 설계되었습니다. 자연어 처리 작업에서 강력한 성능을 보여주는 다양한 벤치마크에서 우수한 성능을 발휘합니다.DeepSeek-V3는 6710억 개의 매개변수를 가진 전문가 혼합 언어 모델로, 효율적인 추론과 비용 효율적인 훈련을 위해 설계되었습니다. 자연어 처리 작업에서 강력한 성능을 보여주는 다양한 벤치마크에서 우수한 성능을 발휘합니다.

추천AI 모델 및 LLM
LLM 37위

AliceAI-Foundation-80B-A3B-Base

LLM

AliceAI-Foundation-80B-A3B-Base는 하이브리드 아키텍처와 MoE 레이어를 갖춘 기초 언어 모델로, 800억 개의 매개변수를 특징으로 합니다. 사실적 지식 작업에서 특히 러시아어에 강점을 보이며, 최대 262,144 토큰의 컨텍스트 길이를 지원합니다.

AI 모델 및 LLM

LLM 28위

도구 보기

AliceAI-Foundation-80B-A3B-Base

LLM

하이브리드 아키텍처와 MoE 레이어를 갖춘 기초 언어 모델로, 800억 개의 매개변수를 특징으로 합니다. 사실적 지식 작업에서 특히 러시아어에 강점을 보이며, 최대 262,144 토큰의 컨텍스트 길이를 지원합니다.AliceAI-Foundation-80B-A3B-Base는 하이브리드 아키텍처와 MoE 레이어를 갖춘 기초 언어 모델로, 800억 개의 매개변수를 특징으로 합니다. 사실적 지식 작업에서 특히 러시아어에 강점을 보이며, 최대 262,144 토큰의 컨텍스트 길이를 지원합니다.

AI 모델 및 LLM
LLM 28위

Ling-3.0-flash

LLM

Ling-3.0-flash는 효율성과 성능을 위해 설계된 차세대 하이브리드 추론 모델입니다. 1240억 개의 매개변수를 갖춘 이 모델은 추론, 지시 따르기 및 긴 맥락 이해에서 뛰어난 성능을 발휘하여 복잡한 작업 흐름에 적합합니다.

AI 모델 및 LLM
도구 보기

Ling-3.0-flash

LLM

효율성과 성능을 위해 설계된 차세대 하이브리드 추론 모델입니다. 1240억 개의 매개변수를 갖춘 이 모델은 추론, 지시 따르기 및 긴 맥락 이해에서 뛰어난 성능을 발휘하여 복잡한 작업 흐름에 적합합니다.Ling-3.0-flash는 효율성과 성능을 위해 설계된 차세대 하이브리드 추론 모델입니다. 1240억 개의 매개변수를 갖춘 이 모델은 추론, 지시 따르기 및 긴 맥락 이해에서 뛰어난 성능을 발휘하여 복잡한 작업 흐름에 적합합니다.

AI 모델 및 LLM
LLM TOP 50 보기

Kimi-K2-Instruct 모델

LLM

Kimi-K2-Instruct는 고급 AI 작업을 위해 설계된 최첨단 전문가 혼합 언어 모델입니다. 이 모델은 추론, 코딩 및 도구 사용에서 뛰어난 성능을 제공하며, 320억 개의 활성화된 매개변수를 갖추고 있습니다.

AI 모델 및 LLM

LLM 46위

도구 보기

Kimi-K2-Instruct 모델

LLM

고급 AI 작업을 위해 설계된 최첨단 전문가 혼합 언어 모델입니다. 이 모델은 추론, 코딩 및 도구 사용에서 뛰어난 성능을 제공하며, 320억 개의 활성화된 매개변수를 갖추고 있습니다.Kimi-K2-Instruct는 고급 AI 작업을 위해 설계된 최첨단 전문가 혼합 언어 모델입니다. 이 모델은 추론, 코딩 및 도구 사용에서 뛰어난 성능을 제공하며, 320억 개의 활성화된 매개변수를 갖추고 있습니다.

AI 모델 및 LLM
LLM 46위

MiniMax-M3.1-Flash

LLM

MiniMax-M3.1-Flash는 코딩, 에이전트 워크플로우 및 사이버 보안을 위해 설계된 다중 모달 전문가 혼합 모델입니다. 텍스트, 이미지 및 비디오 입력을 지원하며, 희소 주의 및 양자화 인식 훈련을 통해 작업 성능과 추론 효율성을 향상시킵니다.

AI 모델 및 LLM
도구 보기

MiniMax-M3.1-Flash

LLM

코딩, 에이전트 워크플로우 및 사이버 보안을 위해 설계된 다중 모달 전문가 혼합 모델입니다. 텍스트, 이미지 및 비디오 입력을 지원하며, 희소 주의 및 양자화 인식 훈련을 통해 작업 성능과 추론 효율성을 향상시킵니다.MiniMax-M3.1-Flash는 코딩, 에이전트 워크플로우 및 사이버 보안을 위해 설계된 다중 모달 전문가 혼합 모델입니다. 텍스트, 이미지 및 비디오 입력을 지원하며, 희소 주의 및 양자화 인식 훈련을 통해 작업 성능과 추론 효율성을 향상시킵니다.

AI 모델 및 LLM
LLM TOP 50 보기

DeepSeek-V4-Pro-DSpark

LLM

DeepSeek-V4-Pro-DSpark는 하이브리드 주의 아키텍처와 다변량 제약 하이퍼 연결을 특징으로 하는 고급 언어 모델입니다. 이 모델은 백만 개의 토큰에 대한 컨텍스트 길이를 지원하며, 효율적인 장기 컨텍스트 처리를 위해 최적화되어 있습니다.

AI 모델 및 LLM
도구 보기

DeepSeek-V4-Pro-DSpark

LLM

하이브리드 주의 아키텍처와 다변량 제약 하이퍼 연결을 특징으로 하는 고급 언어 모델입니다. 이 모델은 백만 개의 토큰에 대한 컨텍스트 길이를 지원하며, 효율적인 장기 컨텍스트 처리를 위해 최적화되어 있습니다.DeepSeek-V4-Pro-DSpark는 하이브리드 주의 아키텍처와 다변량 제약 하이퍼 연결을 특징으로 하는 고급 언어 모델입니다. 이 모델은 백만 개의 토큰에 대한 컨텍스트 길이를 지원하며, 효율적인 장기 컨텍스트 처리를 위해 최적화되어 있습니다.

AI 모델 및 LLM
LLM TOP 50 보기

Solar Open 2

LLM

Solar Open 2는 Upstage에서 개발한 대형 언어 모델로, 사무 생산성 및 코딩과 같은 에이전트 사용 사례를 위해 설계되었습니다. 하이브리드 주의 혼합 전문가 아키텍처를 특징으로 하여 효율적인 추론과 다국어 지원을 제공합니다.

AI 모델 및 LLM

LLM 19위

도구 보기

Solar Open 2

LLM

Upstage에서 개발한 대형 언어 모델로, 사무 생산성 및 코딩과 같은 에이전트 사용 사례를 위해 설계되었습니다. 하이브리드 주의 혼합 전문가 아키텍처를 특징으로 하여 효율적인 추론과 다국어 지원을 제공합니다.Solar Open 2는 Upstage에서 개발한 대형 언어 모델로, 사무 생산성 및 코딩과 같은 에이전트 사용 사례를 위해 설계되었습니다. 하이브리드 주의 혼합 전문가 아키텍처를 특징으로 하여 효율적인 추론과 다국어 지원을 제공합니다.

AI 모델 및 LLM
LLM 19위
1/8