GPTCache

LMCache

AI GitHub 仓库

高性能的键值缓存层，旨在提高大型语言模型（LLMs）的效率。它优化了数据检索速度，确保 AI 应用程序的处理更快、性能更好。LMCache 是一个高性能的键值缓存层，旨在提高大型语言模型（LLMs）的效率。它优化了数据检索速度，确保 AI 应用程序的处理更快、性能更好。

omlx

AI GitHub 仓库

#135

为 Apple Silicon 设计的 LLM 推理服务器，具有连续批处理和 SSD 缓存功能。它直接从 macOS 菜单栏管理，为开发者提供高效、简化的体验，适用于处理大型语言模型。omlx 是一个为 Apple Silicon 设计的 LLM 推理服务器，具有连续批处理和 SSD 缓存功能。它直接从 macOS 菜单栏管理，为开发者提供高效、简化的体验，适用于处理大型语言模型。

LMDeploy

AI GitHub 仓库

#72

用于压缩、部署和服务大型语言模型（LLMs）的工具包。它为开发者提供了必要的工具，以高效管理LLMs，确保最佳性能和可扩展性。LMDeploy是一个用于压缩、部署和服务大型语言模型（LLMs）的工具包。它为开发者提供了必要的工具，以高效管理LLMs，确保最佳性能和可扩展性。

vLLM

AI GitHub 仓库

#23

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

Soup

AI GitHub 仓库

汤是一个GitHub仓库，能够使用单个YAML文件对大型语言模型（LLMs）进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型，使得在有限硬件上进行高级AI模型训练变得可行。

FlagEmbedding

AI GitHub 仓库

专注于检索和增强检索的大型语言模型（LLMs）的GitHub存储库。它为开发者提供了工具和资源，以促进这些模型的开发和增强，从而改善信息检索过程。FlagEmbedding是一个专注于检索和增强检索的大型语言模型（LLMs）的GitHub存储库。它为开发者提供了工具和资源，以促进这些模型的开发和增强，从而改善信息检索过程。

openvibe

AI GitHub 仓库

基于 Python 的开源框架，专为 AI 编码代理设计。它为开发和部署 Auto-GPT 应用程序提供了模块化结构。主要功能包括 LLM 抽象层、内置工具和会话管理功能。用户可以在项目根目录下配置模型并定义代理行为。Openvibe 是一个基于 Python 的开源框架，专为 AI 编码代理设计。它为开发和部署 Auto-GPT 应用程序提供了模块化结构。主要功能包括 LLM 抽象层、内置工具和会话管理功能。用户可以在项目根目录下配置模型并定义代理行为。

EleutherAI GPT-NeoX

AI GitHub 仓库

开源实现，基于 GPU 的模型并行自回归变换器。它利用 Megatron 和 DeepSpeed 库来促进大规模语言模型的高效训练和部署。EleutherAI GPT-NeoX 是一个开源实现，基于 GPU 的模型并行自回归变换器。它利用 Megatron 和 DeepSpeed 库来促进大规模语言模型的高效训练和部署。