설명
MiniCPM-V-4.7-35B-A3B-DSpark는 MiniCPM-V-4.7-35B-A3B 및 해당 토크나이저와의 원활한 통합을 위해 개발된 정교한 DSpark 초안 체크포인트 모델입니다. 이 모델은 비전, 텍스트, 수학 및 코드 등 다양한 분야의 작업을 처리하도록 맞춤화되어 있습니다. 비전 및 텍스트 프롬프트의 혼합을 사용하여 훈련되어 응용 프로그램의 다재다능성을 보장합니다.
더 읽기
모델은 다섯 개의 초안 레이어와 389,223,169개의 초안 매개변수를 특징으로 하며, 전방 패스당 15개의 초안 토큰 용량을 가지고 있습니다. 특정 간격에서 목표 숨겨진 상태 레이어로 설계되어 처리 능력을 향상시킵니다. 체크포인트 정밀도는 BF16으로 설정되어 성능과 효율성을 최적화합니다.
훈련은 MiniCPM-V-4.7-35B-A3B에서 응답을 생성하는 포괄적인 훈련 레시피를 사용하여 200만 개의 훈련 시퀀스를 여섯 번의 에포크에 걸쳐 수행했습니다. 사용된 최적화기는 AdamW이며, 목표는 CE, L1 및 신뢰도 손실에 중점을 두고 있습니다.
모델의 평가는 MathVista 및 OCRBench와 같은 다양한 분야에서 수행되며, 수용 길이는 3.501에서 7.387까지 다양합니다. 이는 모델의 강력함과 다양한 작업에 대한 적응력을 보장합니다.
고급 기능에도 불구하고 모델에는 한계가 있습니다. 자율적인 의도가 없으며 출력은 통계적 패턴에 기반하므로 부정확성이나 편향이 발생할 수 있습니다. 사용자는 모델을 윤리적으로 사용하고 적절한 안전 장치를 구성할 것을 권장합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
MiniCPM-V-4.7-35B-A3B-DSpark 하이라이트
DSpark 초안 체크포인트 모델
MiniCPM-V-4.7-35B-A3B와의 통합
비전 및 텍스트 프롬프트 지원
다섯 개의 초안 레이어
389,223,169개의 초안 매개변수
BF16 체크포인트 정밀도
200만 개의 훈련 시퀀스
다양한 분야에서의 평가
MiniCPM-V-4.7-35B-A3B-DSpark 시작하기
모델 페이지에 접근: Hugging Face 웹사이트 방문
인증: Hugging Face 계정에 로그인
구성: 필요에 따라 모델 매개변수 설정
프롬프트 전송: 비전 또는 텍스트 프롬프트 입력
미세 조정: 특정 작업을 위한 모델 설정 조정
MiniCPM-V-4.7-35B-A3B-DSpark의 사용 사례
- 비전 처리
- 텍스트 분석
- 수학적 계산
- 코드 생성
- 다중 모드 통합
