설명
Ling은 Ant Group의 오픈 소스 AI 프로젝트인 inclusionAI에서 개발하고 오픈 소스로 공개한 혼합 전문가(MoE) 대형 언어 모델 패밀리입니다. GitHub 리포지토리에는 코드, 문서 및 모델 가중치에 대한 링크가 호스팅되며, 최근 커밋이 이루어지는 등 활발히 유지 관리되고 있으며, 현재 267개의 별을 보유하고 있습니다.
더 읽기
이 프로젝트는 두 가지 주요 크기의 모델을 제공합니다: Ling-lite는 총 168억 개의 매개변수와 각 전방 패스당 27.5억 개의 활성화된 매개변수를 가지고 있으며, Ling-plus는 총 2900억 개의 매개변수와 288억 개의 활성화된 매개변수를 가지고 있습니다. Ling은 혼합 전문가 아키텍처를 사용하므로 주어진 입력에 대해 매개변수의 일부만 활성화되어, 더 작은 밀집 모델에 가까운 추론 비용을 유지하면서도 전체 매개변수 수는 더 큽니다. Ling-lite는 128K 토큰의 컨텍스트 윈도우를 지원하며, Ling-plus는 64K를 지원합니다. 코딩 중심의 변형인 Ling-Coder-lite도 16K 컨텍스트 윈도우와 함께 제공됩니다.
모델 가중치는 Hugging Face와 ModelScope를 통해 배포되며(후자는 중국 본토 사용자들을 위한 더 빠른 다운로드를 목표로 함), 대부분의 변형에 대해 기본 및 지침 조정 체크포인트가 제공됩니다. 리포지토리는 MMLU, HumanEval, LiveCodeBench 및 수학 추론 벤치마크를 포함한 작업에서 Qwen3 및 LLaMA 3.1과 같은 유사한 오픈 모델에 대한 벤치마크 결과를 문서화하고 있으며, Ling-lite-1.5는 유사한 크기의 모델들 중 여러 코딩 및 수학 벤치마크에서 경쟁력 있는 또는 선도적인 점수를 보여줍니다.
배포를 위해 Ling은 Hugging Face Transformers 라이브러리, vLLM 및 Huawei의 MindIE를 통한 추론 실행을 위한 문서화된 경로를 포함하며, 오프라인 배치 추론 및 온라인 서비스에 대한 예제 코드도 제공됩니다. 여기에는 더 큰 Ling-plus 모델을 위한 다중 머신 설정도 포함됩니다. 리포지토리에는 모델을 자신의 데이터에 맞게 조정하고자 하는 팀을 위한 미세 조정 지침도 포함되어 있습니다.
Ling은 MIT 라이선스 하에 공개되며, 코드는 자유롭게 사용, 수정 및 재배포할 수 있습니다. 이는 호스팅된 API를 호출하기보다는 오픈 LLM을 자체 호스팅하거나 사용자 정의하고자 하는 연구자, ML 엔지니어 및 개발자를 대상으로 하며, 특히 혼합 전문가 아키텍처나 코딩 전용 모델 변형에 관심이 있는 이들을 위해 설계되었습니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포셀프 호스팅
- 플랫폼웹
Ling의 핵심 기능
효율적인 대규모 추론을 위한 혼합 전문가 아키텍처
여러 모델 크기: Ling-lite (168억) 및 Ling-plus (2900억) 총 매개변수
코딩 작업을 위해 조정된 Ling-Coder-lite 변형
최대 128K 토큰의 컨텍스트 윈도우(Ling-lite) 또는 64K(Ling-plus)
대부분의 변형에 대한 기본 및 지침 조정 체크포인트
Hugging Face 및 ModelScope를 통한 가중치 배포
Transformers, vLLM 및 MindIE에 대한 배포 지원
맞춤형 교육을 위한 문서화된 미세 조정 워크플로우
MIT 라이선스의 오픈 소스 코드
Ling 시작하기
리포지토리 복제: github.com/inclusionAI/Ling에서 코드를 가져옵니다.
가중치 다운로드: Hugging Face 또는 ModelScope에서 필요한 모델 체크포인트를 가져옵니다.
종속성 설치: 리포지토리의 배포 가이드에 따라 Transformers, vLLM 또는 MindIE를 설정합니다.
추론 실행: 오프라인 또는 온라인 추론을 위한 제공된 빠른 시작 코드를 사용합니다.
미세 조정(선택 사항): 미세 조정 가이드를 따라 모델을 자신의 데이터에 맞게 조정합니다.
평가: 사용 사례에 대한 문서화된 벤치마크 결과와 출력을 비교합니다.
Ling의 사용 사례
- 자체 호스팅 LLM 추론
- 코딩 지원 연구
- 맞춤형 미세 조정
- 긴 컨텍스트 작업
