Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

hunch

hunch é um projeto de código aberto no GitHub que funciona como um proxy systemone. Ele utiliza embeddings para destilar um modelo professor, fornecendo uma estrutura para técnicas avançadas de destilação de modelos. Este repositório inclui vários componentes, como fluxos de trabalho, documentação, exemplos e diferentes formatos de peso (int8 e fp8) para implantação e experimentação eficientes de modelos.

Ver repositório
Compartilhar
Ver repositório
Compartilhar

hunch é um repositório do GitHub desenvolvido pela undrgrnd-labs, projetado para servir como um proxy systemone. Sua funcionalidade central gira em torno do uso de embeddings para destilar um modelo professor, que é uma técnica frequentemente empregada para criar modelos menores, mais rápidos e mais eficientes, mantendo grande parte do desempenho de um modelo professor maior e mais complexo.

Ler mais

A estrutura do projeto inclui vários diretórios e arquivos-chave. O diretório `.github/workflows` sugere que práticas de automação e integração contínua estão em vigor, garantindo a qualidade do código e um desenvolvimento eficiente. A pasta `docs` indica que uma documentação abrangente está disponível, o que é crucial para entender e contribuir para o projeto. O componente `eg2cpu` provavelmente se refere a um motor otimizado para execução em CPU, possivelmente para tarefas de inferência, e suporta pesos tanto int8 quanto fp8, destacando um foco em desempenho e redução do uso de memória.

Exemplos são fornecidos dentro do diretório `examples`, oferecendo demonstrações práticas de como usar o sistema `hunch`. Isso é inestimável para desenvolvedores que buscam integrar ou experimentar com o projeto. A presença de `LICENSE-APACHE` e `LICENSE-MIT` indica que o projeto é de código aberto, permitindo amplo uso, modificação e distribuição sob termos permissivos.

Atualizações regulares são evidentes a partir do histórico de commits, com mensagens recentes indicando melhorias, como a adição de pesos int8 e fp8 ao motor `eg2cpu` e a atualização de parágrafos de licenciamento. O projeto também lista dois colaboradores, Matt Mastracci e Md. Tareq Mahmood, significando desenvolvimento ativo e colaboração dentro da comunidade de código aberto. O arquivo `pyproject.toml` sugere um projeto baseado em Python, comumente usado em desenvolvimento de aprendizado de máquina e IA.

  • CategoriaMLOps e implantação de modelos
  • Modelo de preçosCódigo aberto
  • ImplantaçãoNuvem, Auto-hospedado
  • PlataformasWeb

  • Implementação de proxy systemone

  • Destilação de modelo professor usando embeddings

  • Suporte para pesos int8 e fp8

  • Motor otimizado para CPU (eg2cpu)

  • Documentação abrangente

  • Demonstrações de uso de exemplos

  • Licenciamento de código aberto (Apache e MIT)

  • Desenvolvimento ativo com commits recentes

  • Estrutura de projeto baseada em Python

  • Controle de versão com Git

  • Contribuições da comunidade

  • Automação de fluxos de trabalho

  1. Clone o repositório: Use `git clone` para obter uma cópia local do projeto hunch.

  2. Instale as dependências: Consulte `pyproject.toml` e `uv.lock` para os pacotes Python necessários e instale-os.

  3. Explore exemplos: Navegue até o diretório `examples` para entender como usar o sistema.

  4. Configure pesos: Carregue pesos int8 ou fp8 no motor `WebGPU` ou `eg2cpu` conforme necessário para tarefas específicas.

  5. Execute o proxy: Execute o proxy systemone com seu modelo professor e embeddings desejados.

  6. Contribua: Siga as diretrizes do projeto para enviar melhorias ou novos recursos.

  • Destilação de Modelos
  • Desenvolvimento de Proxy
  • Implantação de IA na Edge
  • Pesquisa e Experimentação
  • Otimização de Desempenho

Avaliações de hunch

Carregando...

Ferramentas de IA populares como hunch

Soup

Repositórios de IA no GitHub

Soup é um repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…Soup é um repositório do GitHub que permite o ajuste fino de grandes modelos de linguagem (LLMs) usando um único arquivo YAML. Ele utiliza streaming de camadas para treinar um…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

llamafile

Repositórios de IA no GitHub

Llamafile é uma ferramenta projetada para simplificar a distribuição e execução de grandes modelos de linguagem (LLMs) usando um único arquivo. Facilita a colaboração e o…

MLOps e implantação de modelos

Nº 142 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Ferramenta projetada para simplificar a distribuição e execução de grandes modelos de linguagem (LLMs) usando um único arquivo. Facilita a colaboração e o…Llamafile é uma ferramenta projetada para simplificar a distribuição e execução de grandes modelos de linguagem (LLMs) usando um único arquivo. Facilita a colaboração e o…

MLOps e implantação de modelos
Nº 142 em Repositórios de IA no GitHub

FlashInfer

Repositórios de IA no GitHub

FlashInfer é uma biblioteca de kernel projetada para servir grandes modelos de linguagem (LLMs). Facilita a implantação e gestão eficientes de LLMs, permitindo que desenvolvedores…

MLOps e implantação de modelos
Ver ferramenta

Repositórios de IA no GitHub

Biblioteca de kernel projetada para servir grandes modelos de linguagem (LLMs). Facilita a implantação e gestão eficientes de LLMs, permitindo que desenvolvedores…FlashInfer é uma biblioteca de kernel projetada para servir grandes modelos de linguagem (LLMs). Facilita a implantação e gestão eficientes de LLMs, permitindo que desenvolvedores…

MLOps e implantação de modelos
Ver o Top 250 de Repositórios de IA no GitHub

BentoML

Repositórios de IA no GitHub

BentoML é uma plataforma de código aberto projetada para simplificar a implantação de modelos e aplicações de IA. Ela permite que desenvolvedores construam APIs de inferência de…

MLOps e implantação de modelos

Nº 108 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Plataforma de código aberto projetada para simplificar a implantação de modelos e aplicações de IA. Ela permite que desenvolvedores construam APIs de inferência de…BentoML é uma plataforma de código aberto projetada para simplificar a implantação de modelos e aplicações de IA. Ela permite que desenvolvedores construam APIs de inferência de…

MLOps e implantação de modelos
Nº 108 em Repositórios de IA no GitHub

PowerInfer

Repositórios de IA no GitHub

PowerInfer é uma ferramenta de modelo de linguagem grande de alta velocidade projetada para implantação local. Ela permite a inferência eficiente e rápida de modelos de linguagem…

MLOps e implantação de modelos

Nº 181 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Ferramenta de modelo de linguagem grande de alta velocidade projetada para implantação local. Ela permite a inferência eficiente e rápida de modelos de linguagem…PowerInfer é uma ferramenta de modelo de linguagem grande de alta velocidade projetada para implantação local. Ela permite a inferência eficiente e rápida de modelos de linguagem…

MLOps e implantação de modelos
Nº 181 em Repositórios de IA no GitHub

Dify

Repositórios de IA no GitHub

Dify é uma plataforma open-source para o desenvolvimento de aplicações LLM. Oferece uma tela visual para construir fluxos de trabalho de IA, pipelines RAG e capacidades de agente.…

Criadores de agentes de IA

Nº 11 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Plataforma open-source para o desenvolvimento de aplicações LLM. Oferece uma tela visual para construir fluxos de trabalho de IA, pipelines RAG e capacidades de agente.…Dify é uma plataforma open-source para o desenvolvimento de aplicações LLM. Oferece uma tela visual para construir fluxos de trabalho de IA, pipelines RAG e capacidades de agente.…

DestaqueCriadores de agentes de IA
Nº 11 em Repositórios de IA no GitHub

Unsloth

Repositórios de IA no GitHub

unslothai/unsloth é uma interface de usuário local projetada para executar e treinar grandes modelos de linguagem (LLMs) e modelos de difusão. Suporta vários modelos, incluindo…

MLOps e implantação de modelos

Nº 40 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Interface de usuário local projetada para executar e treinar grandes modelos de linguagem (LLMs) e modelos de difusão. Suporta vários modelos, incluindo…unslothai/unsloth é uma interface de usuário local projetada para executar e treinar grandes modelos de linguagem (LLMs) e modelos de difusão. Suporta vários modelos, incluindo…

DestaqueMLOps e implantação de modelos
Nº 40 em Repositórios de IA no GitHub

Ollama

Repositórios de IA no GitHub

Ollama é uma ferramenta de código aberto para executar grandes modelos de linguagem em seu próprio computador. Permite que desenvolvedores instalem modelos como Llama, Gemma, Qwen…

MLOps e implantação de modelos

Nº 9 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Ferramenta de código aberto para executar grandes modelos de linguagem em seu próprio computador. Permite que desenvolvedores instalem modelos como Llama, Gemma, Qwen…Ollama é uma ferramenta de código aberto para executar grandes modelos de linguagem em seu próprio computador. Permite que desenvolvedores instalem modelos como Llama, Gemma, Qwen…

DestaqueMLOps e implantação de modelos
Nº 9 em Repositórios de IA no GitHub
1 de 8