Code Llama

Descrição

Code Llama é uma família de modelos de linguagem grandes desenvolvida pela Meta, baseada no Llama 2 e especializada em tarefas relacionadas a código. Este repositório oferece o código de inferência necessário para executar esses modelos poderosos. Os modelos Code Llama entregam desempenho de ponta entre os modelos abertos, apresentando capacidades como preenchimento de código, suporte para contextos de entrada estendidos de até 100.000 tokens e seguimento de instruções zero-shot para programação.

A família inclui modelos base (Code Llama), versões específicas para Python (Code Llama - Python) e modelos de seguimento de instruções (Code Llama - Instruct). Estes estão disponíveis em vários tamanhos de parâmetros: 7B, 13B, 34B e 70B. Todos os modelos são treinados em sequências de 16k tokens e demonstram desempenho aprimorado com entradas de até 100k tokens. As variantes 7B e 13B do Code Llama e Code Llama - Instruct são capazes de preencher código com base no conteúdo circundante.

Desenvolvido através do fine-tuning do Llama 2 com uma amostragem maior de código, o Code Llama incorpora consideráveis mitigações de segurança. O repositório fornece pesos de modelo e código inicial para esses modelos pré-treinados e fine-tuned. Ele serve como um exemplo mínimo para carregar modelos Code Llama e executar inferência. Os usuários podem baixar pesos de modelo e tokenizadores do site da Meta após aceitar a licença, e então usar o script `download.sh` fornecido.

A configuração envolve clonar o repositório e instalar dependências dentro de um ambiente conda com PyTorch/CUDA. A inferência requer a especificação de valores de modelo paralelo (MP), que variam de acordo com o tamanho do modelo (por exemplo, 1 para 7B, 8 para 70B). O repositório inclui scripts de exemplo para completude de código (`example_completion.py`), preenchimento de código (`example_infilling.py`) e seguimento de instruções (`example_instructions.py`), demonstrando como fazer prompts e executar os diferentes tipos de modelos de forma eficaz.

Os modelos Code Llama - Instruct são especificamente fine-tuned para seguir instruções, exigindo formatação particular para resultados ideais. O repositório também destaca os riscos potenciais associados às tecnologias de IA e direciona os usuários para um Guia de Uso Responsável e artigos de pesquisa para mais informações. Problemas relacionados a bugs de software ou comportamento do modelo podem ser relatados através dos links do GitHub fornecidos.

Recursos principais de Code Llama

• Código de inferência para modelos Code Llama

• Suporta modelos base, especializados em Python e de seguimento de instruções

• Disponível em tamanhos de parâmetros 7B, 13B, 34B e 70B

• Desempenho de ponta entre modelos de código abertos

• Capacidades de preenchimento de código para modelos 7B e 13B

• Suporta contextos de entrada grandes de até 100.000 tokens

• Seguimento de instruções zero-shot para tarefas de programação

• Treinado em sequências de 16k tokens

• Inclui pesos de modelo e código inicial

• Fornece scripts de exemplo para completude, preenchimento e seguimento de instruções

• Incorpora mitigações de segurança

• Licenciado para pesquisadores e entidades comerciais

Primeiros passos com Code Llama

1. 1

   Clonar: Clone o repositório do GitHub.

2. 2

   Instalar: Configure um ambiente conda com PyTorch/CUDA e instale as dependências usando `pip install -e .`.

3. 3

   Baixar: Obtenha os pesos do modelo e tokenizadores do site da Meta e use `download.sh`.

4. 4

   Configurar: Determine o valor apropriado de modelo paralelo (MP) com base no tamanho do modelo.

5. 5

   Executar: Execute a inferência usando os scripts de exemplo fornecidos (por exemplo, `example_completion.py`, `example_infilling.py`, `example_instructions.py`).

6. 6

   Otimizar: Ajuste `max_seq_len` e `max_batch_size` com base no hardware e caso de uso.

Casos de uso de Code Llama

• Geração de Código
• Completude de Código
• Preenchimento de Código
• Seguimento de Instruções
• Desenvolvimento Python
• Pesquisa
• Tarefas de Contexto Grande

Perguntas frequentes de Code Llama

• O que é Code Llama?

  Code Llama é uma família de modelos de linguagem grandes para código, baseada no Llama 2, oferecendo capacidades avançadas para tarefas de programação.

• Que tipos de modelos Code Llama estão disponíveis?

  Os modelos disponíveis incluem modelos base (Code Llama), especializações em Python (Code Llama - Python) e modelos de seguimento de instruções (Code Llama - Instruct).

• Em que tamanhos de parâmetros o Code Llama está disponível?

  Os modelos Code Llama estão disponíveis em tamanhos de parâmetros 7B, 13B, 34B e 70B.

• O Code Llama pode preencher código?

  Sim, as variantes 7B e 13B do Code Llama e Code Llama - Instruct suportam preenchimento de código com base no conteúdo circundante.

• Qual é o comprimento máximo de contexto para os modelos Code Llama?

  Todos os modelos, exceto as versões 70B para Python e Instruct, suportam comprimentos de sequência de até 100.000 tokens.

• Como faço para baixar os pesos do modelo Code Llama?

  Você pode baixar os pesos do modelo e tokenizadores do site da Meta após aceitar a licença, e então usar o script `download.sh`.

• Quais são os pré-requisitos para configurar o Code Llama?

  Um ambiente conda com PyTorch/CUDA e ferramentas como `wget` e `md5sum` são recomendados para configuração e download.

• Como executo a inferência com o Code Llama?

  A inferência pode ser executada usando os scripts de exemplo fornecidos, como `example_completion.py`, `example_infilling.py` e `example_instructions.py`, após configurar o ambiente e baixar os modelos.

• Os modelos Code Llama são adequados para uso comercial?

  Sim, o modelo e os pesos são licenciados tanto para pesquisadores quanto para entidades comerciais.

• Onde posso relatar problemas com os modelos Code Llama?

  Problemas com o modelo podem ser relatados no GitHub, e feedback sobre conteúdo arriscado pode ser fornecido através de developers.facebook.com/llama_output_feedback.