描述
Chatty for LLMs 是一款 Chrome 扩展程序，旨在弥合您的网络浏览器与通过 Ollama 驱动的本地安装的大型语言模型 (LLM) 之间的差距。此工具使用户能够直接与他们的 LLM 进行对话，并利用检索增强生成 (RAG) 功能来处理当前浏览器标签页中的文档。
要使用 Chatty for LLMs，用户必须在本地运行 Ollama。该扩展程序需要在终端中执行特定命令：`export OLLAMA_ORIGINS=chrome-extension://* ; ollama serve`。此命令可确保 Ollama 配置为接受来自 Chrome 扩展程序的连接，从而实现浏览器与本地 AI 模型之间的无缝通信。
Chatty for LLMs 的主要功能是促进与您选择的 LLM 进行交互式聊天会话。除了简单的对话，该扩展程序还支持 RAG，使其能够处理和理解网页中的信息。这意味着您可以就网页内容提出问题，而 LLM 在页面信息的增强下，可以提供更具上下文相关性和更准确的答案。
Chatty for LLMs 的目标受众包括 AI 爱好者、开发人员、研究人员以及任何有兴趣尝试或将本地 LLM 集成到日常网络浏览工作流程中的人。对于那些希望通过在自己的硬件上运行模型来保护数据隐私，或者希望在不依赖云服务的情况下微调其 AI 交互的人来说，它尤其有用。
Chatty for LLMs 的价值主张在于它能够将本地 LLM 的强大功能直接引入浏览器。它提供了一种便捷且集成的方式来与 AI 聊天、对网页内容进行文档分析，并在没有复杂设置或除 Ollama 本身之外的外部依赖的情况下探索开源 LLM 的功能。该扩展程序旨在使本地 LLM 交互对于日常网络使用更加易于访问和实用。
Chatty for LLMs的核心功能
通过 Ollama 与本地运行的 LLM 进行聊天
对活动标签页的文档执行检索增强生成 (RAG)
需要本地安装并运行 Ollama
使用特定命令进行 Ollama 源配置
将 AI 聊天直接集成到浏览器中
促进 LLM 提供上下文相关的答案
支持与各种本地 LLM 模型进行交互
专为注重隐私的本地 AI 用户设计
通过 AI 功能增强网络浏览
实现网页内容的文档分析
如何使用 Chatty for LLMs？
安装 Chatty for LLMs Chrome 扩展程序
确保您的本地计算机已安装并运行 Ollama
打开您的终端并运行命令：export OLLAMA_ORIGINS=chrome-extension://* ; ollama serve
导航到您希望交互的网页
打开 Chatty for LLMs 扩展程序界面
选择您想要的本地 LLM
开始聊天或询问有关网页内容的问题
Chatty for LLMs的使用案例
- 本地 LLM 聊天
- 网页内容分析
- RAG 实现
- 注重隐私的 AI
- 基于浏览器的 AI 交互
- LLM 实验
