描述
ContextGem是一个免费的开源框架,旨在使用大型语言模型(LLMs)和决策模型简化从文档中提取结构化数据和洞察的过程。它专为深入分析单个文档而构建,确保每个段落都被阅读,以避免遗漏事实,这与检索增强生成(RAG)方法不同,后者可能由于检索不一致而难以处理复杂概念。
阅读更多
该框架的核心组件包括文档、方面和概念。文档可以包含来自各种来源的文本和/或视觉内容,如合同、发票、简历或一般文档。方面表示文档中的定义区域或主题,允许通过层次子方面进行细粒度提取。概念是从方面或更广泛的文档上下文中派生的信息单元或实体,范围从罚款条款等事实提取到分析洞察、推理结论和解释性判断。ContextGem支持多种概念类型,包括字符串概念、布尔概念、数值概念、日期概念、JSON对象概念、评分概念和标签概念。
ContextGem提供灵活的提取工作流,使用不同的模型类型。DocumentLLM允许单个可配置的LLM提取所有方面和概念,包括多模态内容(如果模型支持视觉)。它还支持回退模型以增强鲁棒性。DocumentDecisionModel旨在处理封闭问题(是/否、选择一个选项、按比例评分),为每个可能的答案提供概率,而不生成文本,使其在特定概念类型上快速且具有成本效益。对于更复杂的场景,DocumentModelGroup允许使用多个具有独特角色的模型,使不同的LLMs或决策模型能够根据其复杂性或类型处理特定方面或概念。
该框架旨在在三个关键点集成到代理工作流中:在文档摄取时进行元数据提取,作为代理按需提取的工具,以及在决策点上,决策模型可以回答封闭问题以指导工作流。ContextGem强调通过选择成本效益高的模型、使用决策模型处理封闭问题、利用默认参数、仅在必要时启用理由以及监控使用和成本等策略来优化成本。它还提供强大的安全实践,包括依赖项固定、延迟采用新版本以及针对已知建议的检查,以减轻供应链风险。
- 类别自然语言处理工具
- 定价模式免费
- 部署自托管
- 平台网页版
ContextGem的核心功能
从文档中提取结构化数据
利用LLMs进行开放式提取
利用决策模型处理封闭问题(是/否、标签、评分)
支持多种文档类型(PDF、DOCX、PPTX、XLSX、HTML)
使用Aspects API提取特定文档部分
使用Concepts API推断结构化数据,如JSON、字符串、数字、日期、布尔值
构建可重用的提取管道
可配置的LLM提供者和本地模型
优化提取的准确性、成本和性能
ContextGem对象的序列化和反序列化
与代理工作流的集成
详细的API文档
开源框架
成本优化策略
依赖安全实践
如何使用 ContextGem?
安装ContextGem:按照说明设置框架。
创建文档:配置文档以进行信息提取。
转换文件:处理PDF、DOCX、PPTX、XLSX和HTML等文件。
提取方面:识别并提取特定文档部分。
提取概念:推断结构化数据,如JSON、字符串、数字和日期。
构建管道:创建可重用的提取管道以进行一致分析。
探索模型:配置并使用支持的云LLM提供者和本地模型。
优化提取:实施成本和性能效率的策略。
ContextGem的使用案例
- 合同分析
- 发票处理
- 简历解析
- 医学研究数据提取
- 财务报告分析
- 技术文档审查
- 人力资源政策提取
- 文档元数据提取
- 代理工具集成
- 工作流决策制定







