説明
Code Llamaは、Metaがコードに特化した大規模言語モデルのファミリーであり、Llama 2をコード特化のデータセットでさらにトレーニングすることで作成されました。一般的なコードの合成と理解のために設計されており、プロンプトからコードとその自然言語による説明を生成し、部分的なコードを補完し、周囲のコンテキストに基づいてコードを埋め込みます。
続きを読む
このファミリーは、3つのパラメータサイズ（7B、13B、34B、後に70Bサイズが追加される）と、各サイズに3つのバリアント（一般的なコード合成と理解のための基本的なCode Llamaモデル、Pythonに特化したCode Llama - Python、指示に従うために調整されたCode Llama - Instruct）を提供します。これらのモデルは、テキスト入力を受け取り、テキスト出力を生成する自己回帰型トランスフォーマーであり、Metaによって2023年1月から7月の間に固定されたオフラインデータセットでトレーニングされました。これらは継続的に更新されるものではなく、静的なリリースです。文書化されたモデルの機能には、コードの補完、埋め込み、指示およびチャットインタラクション、Pythonの専門性が含まれ、言語カバレッジにはPython、C++、Java、PHP、TypeScript（JavaScript）、C#、Bashなどが含まれます。
このHugging Face組織は、モデルをTransformers形式でパッケージ化し、transformersおよびaccelerateライブラリで簡単に読み込めるようにしています。Metaの公式リポジトリは、Meta Llama組織の下で別にホストされています。ダウンロードする前に、ホスティングされたデモを試すことができます：基本の13Bモデル用のCode Llama Playground、13Bの指示調整モデル用のCode Llama Chat、Hugging Chatを通じて利用可能な34Bの指示調整バージョンです。
Code Llamaとそのバリアントは、Metaのカスタム商業ライセンスの下でライセンスされており、英語およびサポートされているプログラミング言語での商業および研究利用を目的としています。その範囲外での使用や、Metaの受け入れ可能な使用ポリシーに違反する使用は、ライセンスの範囲外です。
Code Llamaは、コード生成、補完、またはコーディングアシスタントアプリケーションを構築する開発者や研究者を対象としており、クローズドなコード生成APIのオープンで自己ホスト可能な代替手段を求めています。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド, セルフホスト
- プラットフォームWeb
Code Llamaのハイライト
プロンプトからのコード生成と自然言語によるコードの説明
周囲のコンテキストに基づくコードの補完と埋め込み
チャットスタイルのコーディング支援のための指示に従うInstructバリアント
特定の言語に調整されたPython専門のバリアント
7B、13B、34B、70Bのパラメータサイズで利用可能
Python、C++、Java、PHP、TypeScript/JavaScript、C#、Bashなどをカバー
各サイズとバリアントのHugging Face Transformers形式のチェックポイントとして配布
ダウンロード前にモデルを試すためのホスティングデモ（Playground、Chat、Hugging Chat）
Code Llamaをはじめる
サイズとバリアントを選択: タスクに応じてパラメータサイズ（7B、13B、34B、70B）とバリアント（基本、Python、Instruct）を選択します。
ライブラリをインストール: Hugging Faceのtransformersおよびaccelerateパッケージをインストールします。
モデルを読み込む: Hugging Faceから選択したcodellama/*チェックポイントをダウンロードします。
まずデモを試す: 自分のものを展開する前に、Code Llama Playground、Code Llama Chat、またはHugging Chatデモをテストします。
モデルにプロンプトを与える: コード生成、補完、埋め込み、または自然言語での説明を求めます。
ライセンスを確認: 本番使用前にMetaの商業ライセンスと受け入れ可能な使用ポリシーを確認します。
Code Llamaの使用例
- コード生成
- コードの補完と埋め込み
- コーディングアシスタントチャット
- Python特化の開発
