Funnel-Transformer

FNet

AI GitHub リポジトリ

自己注意機構をフーリエ変換に置き換えた効率的なTransformerライクなエンコーダーアーキテクチャです。Google Researchによって開発され、自然言語処理タスクにおいて高性能な代替手段を提供します。このモデルはJax/Flaxで実装されており、事前学習およびファインチューニングのためにGitHubで利用可能です。FNetは、自己注意機構をフーリエ変換に置き換えた効率的なTransformerライクなエンコーダーアーキテクチャです。Google Researchによって開発され、自然言語処理タスクにおいて高性能な代替手段を提供します。このモデルはJax/Flaxで実装されており、事前学習およびファインチューニングのためにGitHubで利用可能です。

Mamba SSM アーキテクチャ

AI GitHub リポジトリ

特に言語のような情報密度の高いデータに対して効果的な、効率的なシーケンスモデリングのために設計された新しい状態空間モデルアーキテクチャです。ハードウェアを意識した実装を提供し、以前のサブ二次モデルを上回り、Transformerに匹敵することを目指しています。Mambaは、特に言語のような情報密度の高いデータに対して効果的な、効率的なシーケンスモデリングのために設計された新しい状態空間モデルアーキテクチャです。ハードウェアを意識した実装を提供し、以前のサブ二次モデルを上回り、Transformerに匹敵することを目指しています。

OpenAI Whisper

AI GitHub リポジトリ

WhisperはOpenAIが開発した堅牢で汎用的な音声認識モデルです。多言語音声認識、翻訳、言語識別に優れています。多様な音声データでトレーニングされており、従来の多段階パイプラインを統一されたシーケンス・トゥ・シーケンスアプローチで置き換える、様々な音声処理タスクのための単一モデルを提供します。

DeepSeek-R1

AI GitHub リポジトリ

AI駆動のソリューションに焦点を当てたGitHubプロジェクトです。プラグイン、スパースアテンションカーネル、効率的な通信ライブラリなど、AI機能を強化するさまざまなリポジトリを提供しています。DeepSeek-R1は、AI駆動のソリューションに焦点を当てたGitHubプロジェクトです。プラグイン、スパースアテンションカーネル、効率的な通信ライブラリなど、AI機能を強化するさまざまなリポジトリを提供しています。

ConvBERT

AI GitHub リポジトリ

スパンベースの動的畳み込みを特徴とする新しいアーキテクチャを持つ、言語モデルの事前学習のためのオープンソースAIモデルです。このGitHubリポジトリには、V100 GPUでテストされたConvBERTモデルの事前学習およびファインチューニング用のコードが含まれており、TensorFlowでの使用方法も記載されています。ConvBERTは、スパンベースの動的畳み込みを特徴とする新しいアーキテクチャを持つ、言語モデルの事前学習のためのオープンソースAIモデルです。このGitHubリポジトリには、V100 GPUでテストされたConvBERTモデルの事前学習およびファインチューニング用のコードが含まれており、TensorFlowでの使用方法も記載されています。

DeepSeek-V3

LLM

#31

6710億のパラメータを持つMixture-of-Experts言語モデルで、効率的な推論とコスト効果の高いトレーニングを目的としています。自然言語処理タスクにおいて強力なパフォーマンスを示し、さまざまなベンチマークで優れた結果を出しています。DeepSeek-V3は、6710億のパラメータを持つMixture-of-Experts言語モデルで、効率的な推論とコスト効果の高いトレーニングを目的としています。自然言語処理タスクにおいて強力なパフォーマンスを示し、さまざまなベンチマークで優れた結果を出しています。

DeepSeek-V3

AI GitHub リポジトリ

DeepSeekによるオープンウェイトのMixture-of-Experts言語モデルで、合計6710億のパラメータとトークンごとに370億のアクティブパラメータを持っています。128Kのコンテキスト長で148兆トークンで事前学習されており、自己ホスティング用またはDeepSeekのチャットウェブサイトを通じて使用するために、Git…DeepSeek-V3は、DeepSeekによるオープンウェイトのMixture-of-Experts言語モデルで、合計6710億のパラメータとトークンごとに370億のアクティブパラメータを持っています。128Kのコンテキスト長で148兆トークンで事前学習されており、自己ホスティング用またはDeepSeekのチャットウェブサイトを通じて使用するために、Git…

nanoGPT

AI GitHub リポジトリ

中規模GPTモデルのトレーニングとファインチューニングのための、ミニマルかつ高性能なGitHubリポジトリです。研究者や開発者がGPTアーキテクチャを実験したり、GPT-2の結果を再現したり、カスタム言語モデルを構築したりするための、シンプルで読みやすいコードベースを提供します。nanoGPTは、中規模GPTモデルのトレーニングとファインチューニングのための、ミニマルかつ高性能なGitHubリポジトリです。研究者や開発者がGPTアーキテクチャを実験したり、GPT-2の結果を再現したり、カスタム言語モデルを構築したりするための、シンプルで読みやすいコードベースを提供します。