跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

DeepSeek V3 JAX

DeepSeek V3 JAX 是 DeepSeek V3 模型的开源实现,包括 MLA、DeepSeekMoE、无辅助损失平衡和 MTP。该项目由 190 行纯 JAX 代码开发,展示了如何在 MacBook Air 上训练和采样模型。它提供了一种简洁高效的方式来探索先进的大型语言模型架构。

查看仓库
分享
查看仓库
分享

DeepSeek V3 JAX 是 DeepSeek V3 大型语言模型架构的紧凑高效的开源实现。该项目由 Vaibhaav Tiwari 开发,提炼了复杂的 DeepSeek V3 设计,包含多层注意力(Multi-Layer Attention, MLA)、DeepSeekMoE(专家混合模型)、无辅助损失平衡和多任务预训练(Multi-Task Pre-training, MTP)等特性,约由 190 行纯 JAX 代码构成。

阅读更多

该代码库提供了全面的指南,以理解、训练和采样 DeepSeek V3 模型。它包括模型定义、训练循环、数据准备和采样的脚本,使研究人员和开发者能够轻松尝试先进的 LLM 架构。该实现的一个显著特点是其在 MacBook Air 上的训练能力,突显了其高效性和在本地开发与实验中的潜力。

该项目强调清晰和简洁,提供了一种极简的方法来实现复杂模型。它作为教育资源,帮助那些希望深入了解 DeepSeek V3 组件及其 JAX 实现的人。代码库还包括测试以确保正确性,并提供完整的重现指南,附有经过验证的数字和结果,允许用户复制报告的性能。

除了核心模型实现,DeepSeek V3 JAX 还解决了诸如 ROCm(AMD GPU)在 Linux 上训练的设置等实际问题,表明其对不同硬件环境的适应性。关于设计选择和理论基础的详细说明可在 vaibhaav.in/writing/deepseek-v3-jax 找到,为实际应用和学术研究提供了宝贵的资源。

  • 类别AI 模型与大语言模型
  • 定价模式开源
  • 部署自托管
  • 平台macOS, Linux

  • 在 JAX 中实现的 DeepSeek V3 模型

  • 包括多层注意力(MLA)

  • 包含 DeepSeekMoE 架构

  • 具有无辅助损失平衡功能

  • 支持多任务预训练(MTP)

  • 简洁的代码库(约 190 行 JAX)

  • 在 MacBook Air 上的训练演示

  • 模型、训练、采样和数据准备的脚本

  • 包括验证测试

  • 附有经过验证结果的完整重现指南

  • Linux 训练的 ROCm(AMD GPU)设置

  • 开源使用的 MIT 许可证

  1. 克隆代码库:从 GitHub 获取项目文件。

  2. 安装依赖:使用 `requirements.txt` 设置所需的 Python 包。

  3. 准备数据:运行 `prepare_data.py` 准备数据集以进行训练。

  4. 训练模型:执行 `train.py` 开始模型训练过程。

  5. 生成输出:使用 `sample.py` 从训练好的模型生成文本。

  6. 运行测试:使用 `tests.py` 验证实现的正确性。

  • LLM 架构研究
  • 高效模型实现
  • 本地 LLM 训练
  • JAX 开发实践
  • 开源贡献
  • 教育资源

DeepSeek V3 JAX 评价

加载中...

与 DeepSeek V3 JAX 类似的热门AI工具

DeepSeek-V3

AI GitHub 仓库

DeepSeek-V3 是 DeepSeek 发布的开放权重混合专家语言模型,拥有 6710 亿个参数,总共每个令牌激活 370 亿个参数。该模型在 14.8 万亿个令牌上进行预训练,具有 128K 的上下文长度,代码和权重已在 GitHub 和 Hugging Face 上发布,供自托管或通过 DeepSeek 的聊天网站使用。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

DeepSeek 发布的开放权重混合专家语言模型,拥有 6710 亿个参数,总共每个令牌激活 370 亿个参数。该模型在 14.8 万亿个令牌上进行预训练,具有 128K 的上下文长度,代码和权重已在 GitHub 和 Hugging Face 上发布,供自托管或通过 DeepSeek 的聊天网站使用。DeepSeek-V3 是 DeepSeek 发布的开放权重混合专家语言模型,拥有 6710 亿个参数,总共每个令牌激活 370 亿个参数。该模型在 14.8 万亿个令牌上进行预训练,具有 128K 的上下文长度,代码和权重已在 GitHub 和 Hugging Face 上发布,供自托管或通过 DeepSeek 的聊天网站使用。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

DeepSeek-V3

大语言模型

DeepSeek-V3 是一个具有 6710 亿参数的专家混合语言模型,旨在实现高效推理和经济实惠的训练。它在各种基准测试中表现出色,展示了在自然语言处理任务中的强大性能。

AI 模型与大语言模型

大语言模型 排名第 42 位

查看工具

大语言模型

具有 6710 亿参数的专家混合语言模型,旨在实现高效推理和经济实惠的训练。它在各种基准测试中表现出色,展示了在自然语言处理任务中的强大性能。DeepSeek-V3 是一个具有 6710 亿参数的专家混合语言模型,旨在实现高效推理和经济实惠的训练。它在各种基准测试中表现出色,展示了在自然语言处理任务中的强大性能。

精选AI 模型与大语言模型
大语言模型 排名第 42 位

OpenLLaMA

AI GitHub 仓库

OpenLLaMA 是 Meta AI 的 LLaMA 7B 模型的一个允许自由许可的开源复现版本。它在 RedPajama 数据集上进行训练,提供 3B、7B 和 13B 参数版本,并提供 PyTorch 和 JAX 权重,可无缝集成到现有的 LLaMA 实现中。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

Meta AI 的 LLaMA 7B 模型的一个允许自由许可的开源复现版本。它在 RedPajama 数据集上进行训练,提供 3B、7B 和 13B 参数版本,并提供 PyTorch 和 JAX 权重,可无缝集成到现有的 LLaMA 实现中。OpenLLaMA 是 Meta AI 的 LLaMA 7B 模型的一个允许自由许可的开源复现版本。它在 RedPajama 数据集上进行训练,提供 3B、7B 和 13B 参数版本,并提供 PyTorch 和 JAX 权重,可无缝集成到现有的 LLaMA 实现中。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

DeepSeek

大语言模型

DeepSeek是一家专注于开发通用人工智能的AI研究公司。它提供开源前沿大型语言模型(LLM),如DeepSeek-V4、DeepSeek-R1和DeepSeek-Coder,使用户能够与AI聊天或通过API集成以实现各种应用。

AI 模型与大语言模型

大语言模型 排名第 2 位

查看工具

大语言模型

专注于开发通用人工智能的AI研究公司。它提供开源前沿大型语言模型(LLM),如DeepSeek-V4、DeepSeek-R1和DeepSeek-Coder,使用户能够与AI聊天或通过API集成以实现各种应用。DeepSeek是一家专注于开发通用人工智能的AI研究公司。它提供开源前沿大型语言模型(LLM),如DeepSeek-V4、DeepSeek-R1和DeepSeek-Coder,使用户能够与AI聊天或通过API集成以实现各种应用。

精选AI 模型与大语言模型
大语言模型 排名第 2 位

DeepSeek-R1

AI GitHub 仓库

DeepSeek-R1是一个专注于AI驱动解决方案的GitHub项目。它提供多种增强AI能力的代码库,包括插件、稀疏注意力内核和高效的通信库。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

专注于AI驱动解决方案的GitHub项目。它提供多种增强AI能力的代码库,包括插件、稀疏注意力内核和高效的通信库。DeepSeek-R1是一个专注于AI驱动解决方案的GitHub项目。它提供多种增强AI能力的代码库,包括插件、稀疏注意力内核和高效的通信库。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

FNet

AI GitHub 仓库

FNet 是一种高效的类 Transformer 编码器架构,它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发,为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现,并在 GitHub 上提供,可用于预训练和微调。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

高效的类 Transformer 编码器架构,它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发,为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现,并在 GitHub 上提供,可用于预训练和微调。FNet 是一种高效的类 Transformer 编码器架构,它用傅里叶变换取代了自注意力机制。该模型由 Google Research 开发,为自然语言处理任务提供了一种高性能的替代方案。该模型使用 Jax/Flax 实现,并在 GitHub 上提供,可用于预训练和微调。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

一个免费的在线演示,展示开源的 DeepSeek V3 模型(6710 亿参数),可在您的浏览器中运行,无需注册,并提供本地运行模型的链接,适用于个人和商业使用。

AI 模型与大语言模型
查看工具

一个免费的在线演示,展示开源的 DeepSeek V3 模型(6710 亿参数),可在您的浏览器中运行,无需注册,并提供本地运行模型的链接,适用于个人和商业使用。

AI 模型与大语言模型
查看 AI 应用 Top 250

LlamaFactory

AI GitHub 仓库

LlamaFactory是一个GitHub仓库,专注于对100多种大型语言模型(LLMs)和视觉语言模型(VLMs)进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。

机器学习平台

AI GitHub 仓库 排名第 13 位

查看工具

AI GitHub 仓库

GitHub仓库,专注于对100多种大型语言模型(LLMs)和视觉语言模型(VLMs)进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。LlamaFactory是一个GitHub仓库,专注于对100多种大型语言模型(LLMs)和视觉语言模型(VLMs)进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。

精选机器学习平台
AI GitHub 仓库 排名第 13 位
1/8