描述
这篇博文详细介绍了论文《Hopfield Networks is All You Need》及其配套的 PyTorch Hopfield 层。文章首先追溯了从经典 Hopfield 网络（使用能量函数和同步或异步更新来存储和检索二值模式）到现代 Hopfield 网络的发展历程。这些现代版本，也称为密集联想记忆（Dense Associative Memories），引入了一个广义的能量函数，允许使用连续值的模式和状态，从而显著增加了存储容量。
阅读更多
核心创新在于一个新的能量函数及其相应的更新规则。这个新规则在数学上被证明可以收敛到能量函数的局部最小值。至关重要的是，该更新规则被证明等同于 Transformer 网络中发现的自注意力机制。这种联系使得 Hopfield 层能够无缝集成到深度学习架构中，为它们提供联想记忆能力。
文章介绍了三种类型的 Hopfield 层：Hopfield、HopfieldPooling 和 HopfieldLayer。Hopfield 层用于关联和处理两组数据，类似于 Transformer 注意力。HopfieldPooling 在使用单一静态状态模式时充当池化层，学习一个原型模式。HopfieldLayer 适用于存储固定模式或学习内部原型，其中存储的模式是静态的并且可以被学习。
这些连续 Hopfield 层具有可微分性，使其成为深度学习的理想选择。它们可以作为现有层的即插即用替换，或用于多实例学习、基于集合的学习和联想学习等专业应用。文章还重点介绍了一个在免疫组库分类（DeepRC）中的最先进应用，其中利用了现代 Hopfield 网络的高存储容量来解决计算生物学中具有挑战性的多实例学习问题。
新能量函数的关键特性包括全局收敛到局部最小值、指数级存储容量以及在单次更新步骤后的收敛。博文提供了实际示例和代码片段，以说明这些新的 Hopfield 层在各种深度学习上下文中的用法，并强调了它们的灵活性和强大功能。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端, 自托管
- 平台网页版
Hopfield Layers的核心功能
将经典 Hopfield 网络推广到连续状态和模式。
引入了一个保证收敛到局部最小值的能量函数。
更新规则等同于 Transformer 自注意力机制。
提供指数级存储容量。
实现快速收敛，通常在一次更新后即可完成。
可微分，允许集成到深度学习架构中。
提供三种类型的 Hopfield 层：Hopfield、HopfieldPooling 和 HopfieldLayer。
支持两组数据的关联。
支持固定模式搜索和池化操作。
促进学习内部原型或存储固定模式。
适用于多实例学习和基于集合的学习。
用于最先进的应用，如免疫组库分类（DeepRC）。
Hopfield Layers入门
访问模型：利用 PyTorch Hopfield 层实现。
通过 API 集成：将 Hopfield 层集成到深度学习架构中。
配置参数：调整 beta（逆温度）等设置以控制学习动态。
定义模式：输入存储的模式（Y）和状态模式（R）。
训练网络：将 Hopfield 层集成到更大的神经网络中进行训练。
优化：针对特定任务和数据集微调层配置。
Hopfield Layers的使用案例
- 模式检索
- 深度学习集成
- 联想记忆
- 序列注意力
- 多实例学习
- 基于集合的学习
- 免疫组库分类
- 池化操作
- 固定模式搜索
- 联想学习
