注意力机制
读一句话时,你不会把每个词都同等看待。注意力机制也是这样:它帮助模型判断当前要关注哪些词、哪些位置、哪些上下文。
关键结构图
当前相关远处弱强
一个当前词连接多个上下文词,线条粗细表示注意力权重不同。
What
注意力机制是让模型在处理大量信息时,给更重要的部分分配更高权重。
注意力机制是深度学习中的一种信息加权方法,广泛用于自然语言处理、视觉和多模态模型。它通过计算元素之间的相关性,让模型在生成或判断时聚焦关键部分。边界是,注意力权重不一定等于人的解释,也不能简单当成模型真实思考过程。
Structure注意力机制 = 输入序列 + 相关性评分 + 权重聚焦
When
当你学习 Transformer、语言模型、翻译、摘要或长上下文处理时,注意力机制是必须理解的基础。
How
先理解每个输入会与其他输入计算相关性,再把相关性转成权重,最后按权重聚合信息供模型使用。
Examples
翻译一句话时,模型生成某个词可能需要重点关注原文中对应的名词或动词。
长文总结时,注意力机制帮助模型在多个段落中寻找与当前输出相关的上下文。
来源
类型:AI 基础 / 深度学习概念
事实线:注意力机制通过权重分配帮助模型处理序列和上下文信息,是 Transformer 等架构的重要组成。
依据:深度学习和 Transformer 基础、NLP 模型解释资料、1000 Bricks 对注意力机制的整理。
边界:适用于理解模型如何处理上下文;不等于完整解释模型行为。
常见误读:不要把注意力权重直接当成“模型为什么这样想”的最终答案。