설명
LiquidAI LFM2.5-2.6B는 온디바이스 배포를 위해 제작된 하이브리드 모델 시리즈인 LFM2.5 패밀리의 일원입니다. LFM2 아키텍처를 기반으로 하며, 128K 컨텍스트 윈도우와 에이전트 후 훈련 기능을 갖추고 있어 도구 사용, 지시 따르기 및 다단계 에이전트 작업에서 네 배 크기의 모델과 경쟁력을 갖추고 있습니다. 이 모델은 에이전트 강화 학습을 통해 훈련되어 인기 있는 에이전트 하네스와의 호환성을 높였습니다.
더 읽기
이 모델은 효율적인 추론 기능을 자랑하며, Apple M5 Max에서 초당 220 토큰, AMD Ryzen CPU에서 초당 113 토큰을 달성하며, 메모리 사용량은 2.5GB 미만입니다. 이 모델은 26억 개의 매개변수, 30개의 레이어 및 128,000의 어휘 크기를 가진 일반 목적의 텍스트 전용 모델입니다. 이 모델은 영어, 아랍어, 중국어, 프랑스어 등 다양한 언어를 지원합니다.
LFM2.5-2.6B는 파인 튜닝을 위한 기본 모델, CPU 추론을 위한 양자화된 형식, 크로스 플랫폼 배포를 위한 ONNX 런타임 형식 등 다양한 형식으로 제공됩니다. MLX 프레임워크를 사용하여 Apple Silicon에서 빠른 추론을 위해 최적화되어 있으며, 더 빠른 출력을 위한 추측 디코딩을 지원합니다.
이 모델은 에이전트 작업, 도구 사용, 데이터 추출 및 긴 컨텍스트 워크플로우에 권장되지만, 에이전트 코딩 및 지식 집약적인 작업에는 이상적이지 않습니다. 에이전트 워크플로우에서 함수 호출을 지원하여 기존 시스템에 원활하게 통합할 수 있습니다. 특정 사용 사례에 대해 최적의 결과를 얻기 위해 파인 튜닝을 권장합니다.
LFM2.5-2.6B는 다른 10B 미만 모델과 비교하여 벤치마크 테스트를 수행했으며, 다양한 지표에서 경쟁력 있는 성능을 보여줍니다. 효율적인 아키텍처 덕분에 빠른 CPU 및 GPU 추론이 가능하여 다양한 애플리케이션에 적합합니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드, 셀프 호스팅
- 플랫폼웹, macOS, Windows
LiquidAI LFM2.5-2.6B 하이라이트
온디바이스 배포를 위한 하이브리드 모델
128K 컨텍스트 윈도우
에이전트 후 훈련
효율적인 추론
26억 개의 매개변수
여러 언어 지원
다양한 형식으로 제공
Apple Silicon에 최적화
LiquidAI LFM2.5-2.6B 시작하기
모델 페이지 접근: Hugging Face 웹사이트 방문
인증: Hugging Face 계정에 로그인
구성: 특정 사용 사례에 맞게 모델 설정
프롬프트 전송: 추론 또는 에이전트 워크플로우에 모델 사용
LiquidAI LFM2.5-2.6B의 사용 사례
- 에이전트 워크플로우
- 데이터 추출
- 도구 사용
- 긴 컨텍스트 작업
- 크로스 플랫폼 배포
