본문으로 건너뛰기
ToolPotion
AI 어드바이저
제출 (무료)

DeepSeek V3 JAX

AI GitHub 저장소AI 모델 및 LLM오픈소스 · macOS, Linux

DeepSeek V3 JAX는 MLA, DeepSeekMoE, aux-loss-free balancing 및 MTP를 포함한 DeepSeek V3 모델의 오픈 소스 구현입니다. 순수 JAX로 190줄로 개발된 이 프로젝트는 MacBook Air에서도 모델을 훈련하고 샘플링하는 방법을 보여줍니다. 이는 고급 대형 언어 모델 아키텍처를 탐색하는 간결하고 효율적인 방법을 제공합니다.

저장소 보기
공유
저장소 보기
공유

DeepSeek V3 JAX는 DeepSeek V3 대형 언어 모델 아키텍처의 compact하고 효율적인 오픈 소스 구현입니다. Vaibhaav Tiwari가 개발한 이 프로젝트는 Multi-Layer Attention (MLA), DeepSeekMoE (Mixture-of-Experts), aux-loss-free balancing 및 Multi-Task Pre-training (MTP)과 같은 기능을 포함하는 복잡한 DeepSeek V3 설계를 약 190줄의 순수 JAX 코드로 정제합니다.

더 읽기

이 저장소는 DeepSeek V3 모델을 이해하고 훈련하며 샘플링하는 데 필요한 포괄적인 가이드를 제공합니다. 모델 정의, 훈련 루프, 데이터 준비 및 샘플링을 위한 스크립트를 포함하여 고급 LLM 아키텍처를 실험하고자 하는 연구자와 개발자에게 접근성을 제공합니다. 이 구현의 주목할 만한 점은 MacBook Air에서 훈련할 수 있는 능력을 보여주며, 이는 효율성과 로컬 개발 및 실험의 잠재력을 강조합니다.

이 프로젝트는 명확성과 간결성을 강조하며, 정교한 모델을 구현하는 미니멀한 접근 방식을 제공합니다. DeepSeek V3의 구성 요소와 그 JAX 구현의 세부 사항을 탐구하고자 하는 사람들을 위한 교육 자료로 활용됩니다. 이 저장소는 또한 정확성을 보장하기 위한 테스트를 포함하고 있으며, 검증된 숫자와 결과가 포함된 전체 재현 가이드를 제공하여 사용자가 보고된 성능을 복제할 수 있도록 합니다.

핵심 모델 구현을 넘어, DeepSeek V3 JAX는 Linux에서 훈련하기 위한 ROCm (AMD GPU) 설정과 같은 실용적인 측면도 다루어 다양한 하드웨어 환경에 대한 적응성을 나타냅니다. vaibhaav.in/writing/deepseek-v3-jax에 대한 자세한 설명이 포함되어 있어 프로젝트의 설계 선택과 이론적 기초에 대한 추가 통찰력을 제공하며, 실용적인 응용 및 학문적 연구 모두에 유용한 자료가 됩니다.

  • 카테고리AI 모델 및 LLM
  • 요금제오픈소스
  • 배포셀프 호스팅
  • 플랫폼macOS, Linux

  • JAX로 구현된 DeepSeek V3 모델

  • Multi-Layer Attention (MLA) 포함

  • DeepSeekMoE 아키텍처 통합

  • aux-loss-free balancing 기능

  • Multi-Task Pre-training (MTP) 지원

  • 간결한 코드베이스 (약 190줄의 JAX)

  • MacBook Air에서 훈련 가능

  • 모델, 훈련, 샘플링 및 데이터 준비를 위한 스크립트 포함

  • 검증을 위한 테스트 포함

  • 검증된 결과와 함께 전체 재현 가이드 제공

  • Linux 훈련을 위한 ROCm (AMD GPU) 설정

  • 오픈 소스 사용을 위한 MIT 라이선스

  1. 저장소 복제: GitHub에서 프로젝트 파일을 가져옵니다.

  2. 의존성 설치: `requirements.txt`를 사용하여 필요한 Python 패키지를 설정합니다.

  3. 데이터 준비: `prepare_data.py`를 실행하여 훈련을 위한 데이터셋을 준비합니다.

  4. 모델 훈련: `train.py`를 실행하여 모델 훈련 프로세스를 시작합니다.

  5. 출력 샘플링: `sample.py`를 사용하여 훈련된 모델에서 텍스트를 생성합니다.

  6. 테스트 실행: `tests.py`로 구현의 정확성을 검증합니다.

  • LLM 아키텍처 연구
  • 효율적인 모델 구현
  • 로컬 LLM 훈련
  • JAX 개발 연습
  • 오픈 소스 기여
  • 교육 자료

DeepSeek V3 JAX 리뷰

로딩 중...

DeepSeek V3 JAX와(과) 비슷한 인기 AI 도구

DeepSeek-V3

AI GitHub 저장소

DeepSeek-V3는 DeepSeek에서 제공하는 오픈 가중치 Mixture-of-Experts 언어 모델로, 총 6710억 개의 매개변수와 토큰당 370억 개의 활성화된 매개변수를 가지고 있습니다. 14.8조 개의 토큰으로 사전 훈련되었으며, 128K의 컨텍스트 길이를 지원합니다. GitHub와 Hugging…

AI 모델 및 LLM
도구 보기

AI GitHub 저장소

DeepSeek에서 제공하는 오픈 가중치 Mixture-of-Experts 언어 모델로, 총 6710억 개의 매개변수와 토큰당 370억 개의 활성화된 매개변수를 가지고 있습니다. 14.8조 개의 토큰으로 사전 훈련되었으며, 128K의 컨텍스트 길이를 지원합니다. GitHub와 Hugging…DeepSeek-V3는 DeepSeek에서 제공하는 오픈 가중치 Mixture-of-Experts 언어 모델로, 총 6710억 개의 매개변수와 토큰당 370억 개의 활성화된 매개변수를 가지고 있습니다. 14.8조 개의 토큰으로 사전 훈련되었으며, 128K의 컨텍스트 길이를 지원합니다. GitHub와 Hugging…

AI 모델 및 LLM
AI GitHub 저장소 TOP 250 보기

DeepSeek-V3는 6710억 개의 매개변수를 가진 전문가 혼합 언어 모델로, 효율적인 추론과 비용 효율적인 훈련을 위해 설계되었습니다. 자연어 처리 작업에서 강력한 성능을 보여주는 다양한 벤치마크에서 우수한 성능을 발휘합니다.

AI 모델 및 LLM

LLM 42위

도구 보기

6710억 개의 매개변수를 가진 전문가 혼합 언어 모델로, 효율적인 추론과 비용 효율적인 훈련을 위해 설계되었습니다. 자연어 처리 작업에서 강력한 성능을 보여주는 다양한 벤치마크에서 우수한 성능을 발휘합니다.DeepSeek-V3는 6710억 개의 매개변수를 가진 전문가 혼합 언어 모델로, 효율적인 추론과 비용 효율적인 훈련을 위해 설계되었습니다. 자연어 처리 작업에서 강력한 성능을 보여주는 다양한 벤치마크에서 우수한 성능을 발휘합니다.

추천AI 모델 및 LLM
LLM 42위

OpenLLaMA

AI GitHub 저장소

OpenLLaMA는 Meta AI의 LLaMA 7B 모델을 허용 가능한 라이선스로 재현한 오픈 소스 모델입니다. RedPajama 데이터셋으로 학습되었으며, 3B, 7B, 13B 파라미터 버전을 제공하고 PyTorch 및 JAX 가중치를 통해 기존 LLaMA 구현에 원활하게 통합할 수 있습니다.

AI 모델 및 LLM
도구 보기

AI GitHub 저장소

Meta AI의 LLaMA 7B 모델을 허용 가능한 라이선스로 재현한 오픈 소스 모델입니다. RedPajama 데이터셋으로 학습되었으며, 3B, 7B, 13B 파라미터 버전을 제공하고 PyTorch 및 JAX 가중치를 통해 기존 LLaMA 구현에 원활하게 통합할 수 있습니다.OpenLLaMA는 Meta AI의 LLaMA 7B 모델을 허용 가능한 라이선스로 재현한 오픈 소스 모델입니다. RedPajama 데이터셋으로 학습되었으며, 3B, 7B, 13B 파라미터 버전을 제공하고 PyTorch 및 JAX 가중치를 통해 기존 LLaMA 구현에 원활하게 통합할 수 있습니다.

AI 모델 및 LLM
AI GitHub 저장소 TOP 250 보기

DeepSeek는 일반 인공지능 개발에 전념하는 AI 연구 회사입니다. DeepSeek-V4, DeepSeek-R1, DeepSeek-Coder와 같은 오픈 소스 최전선 LLM을 제공하여 사용자가 AI와 대화하거나 다양한 애플리케이션을 위해 API를 통해 통합할 수 있도록 합니다.

AI 모델 및 LLM

LLM 2위

도구 보기

일반 인공지능 개발에 전념하는 AI 연구 회사입니다. DeepSeek-V4, DeepSeek-R1, DeepSeek-Coder와 같은 오픈 소스 최전선 LLM을 제공하여 사용자가 AI와 대화하거나 다양한 애플리케이션을 위해 API를 통해 통합할 수 있도록 합니다.DeepSeek는 일반 인공지능 개발에 전념하는 AI 연구 회사입니다. DeepSeek-V4, DeepSeek-R1, DeepSeek-Coder와 같은 오픈 소스 최전선 LLM을 제공하여 사용자가 AI와 대화하거나 다양한 애플리케이션을 위해 API를 통해 통합할 수 있도록 합니다.

추천AI 모델 및 LLM
LLM 2위

DeepSeek-R1

AI GitHub 저장소

DeepSeek-R1은 AI 기반 솔루션에 중점을 둔 GitHub 프로젝트입니다. 플러그인, 희소 주의 커널 및 효율적인 통신 라이브러리를 포함하여 AI 기능을 향상시키는 다양한 리포지토리를 제공합니다.

AI 모델 및 LLM
도구 보기

AI GitHub 저장소

AI 기반 솔루션에 중점을 둔 GitHub 프로젝트입니다. 플러그인, 희소 주의 커널 및 효율적인 통신 라이브러리를 포함하여 AI 기능을 향상시키는 다양한 리포지토리를 제공합니다.DeepSeek-R1은 AI 기반 솔루션에 중점을 둔 GitHub 프로젝트입니다. 플러그인, 희소 주의 커널 및 효율적인 통신 라이브러리를 포함하여 AI 기능을 향상시키는 다양한 리포지토리를 제공합니다.

AI 모델 및 LLM
AI GitHub 저장소 TOP 250 보기

FNet

AI GitHub 저장소

FNet는 푸리에 변환으로 자체 주의 메커니즘을 대체하는 효율적인 트랜스포머 유사 인코더 아키텍처입니다. Google Research에서 개발했으며, 자연어 처리 작업에 대한 고성능 대안을 제공합니다. 이 모델은 Jax/Flax로 구현되었으며 GitHub에서 사전 학습 및 미세 조정을 위해 사용할 수 있습니다.

AI 모델 및 LLM
도구 보기

AI GitHub 저장소

푸리에 변환으로 자체 주의 메커니즘을 대체하는 효율적인 트랜스포머 유사 인코더 아키텍처입니다. Google Research에서 개발했으며, 자연어 처리 작업에 대한 고성능 대안을 제공합니다. 이 모델은 Jax/Flax로 구현되었으며 GitHub에서 사전 학습 및 미세 조정을 위해 사용할 수 있습니다.FNet는 푸리에 변환으로 자체 주의 메커니즘을 대체하는 효율적인 트랜스포머 유사 인코더 아키텍처입니다. Google Research에서 개발했으며, 자연어 처리 작업에 대한 고성능 대안을 제공합니다. 이 모델은 Jax/Flax로 구현되었으며 GitHub에서 사전 학습 및 미세 조정을 위해 사용할 수 있습니다.

AI 모델 및 LLM
AI GitHub 저장소 TOP 250 보기

브라우저에서 등록 없이 실행되는 오픈 소스 DeepSeek V3 모델(671B 파라미터)의 무료 온라인 데모와 개인 및 상업적 사용을 위한 모델을 로컬에서 실행할 수 있는 링크를 제공합니다.

AI 모델 및 LLM
도구 보기

브라우저에서 등록 없이 실행되는 오픈 소스 DeepSeek V3 모델(671B 파라미터)의 무료 온라인 데모와 개인 및 상업적 사용을 위한 모델을 로컬에서 실행할 수 있는 링크를 제공합니다.

AI 모델 및 LLM
AI 앱 TOP 250 보기

LlamaFactory

AI GitHub 저장소

LlamaFactory는 100개 이상의 대형 언어 모델(LLM) 및 비전-언어 모델(VLM)의 통합 및 효율적 미세 조정에 중점을 둔 GitHub 저장소입니다. AI 분야의 연구자와 개발자들이 미세 조정 프로세스를 간소화하는 것을 목표로 합니다.

머신러닝 플랫폼

AI GitHub 저장소 13위

도구 보기

AI GitHub 저장소

100개 이상의 대형 언어 모델(LLM) 및 비전-언어 모델(VLM)의 통합 및 효율적 미세 조정에 중점을 둔 GitHub 저장소입니다. AI 분야의 연구자와 개발자들이 미세 조정 프로세스를 간소화하는 것을 목표로 합니다.LlamaFactory는 100개 이상의 대형 언어 모델(LLM) 및 비전-언어 모델(VLM)의 통합 및 효율적 미세 조정에 중점을 둔 GitHub 저장소입니다. AI 분야의 연구자와 개발자들이 미세 조정 프로세스를 간소화하는 것을 목표로 합니다.

추천머신러닝 플랫폼
AI GitHub 저장소 13위
1/8