跳到主要内容

深入Transformer

Transformer 可以理解为一种处理序列信息的神经网络架构

  • 注意力机制 （Attention Mechanism）
    • 为什么LLM能关注到长句中的关键信息
  • 自注意力机制
    • 这是LLM的灵魂，如何计算一个词和句中所有
  • 多头注意力 （Multi-Head Attention）
    • 从多个角度理解信息，提升鲁棒性 （提高系统的应对意外情况的能力）
  • 前馈神经网络与残差连接 （FFN =>Feed-Forward Network）
    • 前馈神经网络负责对每个 Token 的特征进行加工
    • 残差连接负责保留原始信息并叠加新的处理结果
    • 保留原始信息，并让深层网络更容易训练

保留原始信息，并让深层网络更容易训练

Transformer理解​

  • 核心是自注意力，让 token 动态看上下文
  • Transformer 就是让一句话里的每个 token，不断从其他 token 那里获取与自己相关的信息，来形成更准确的上下文，帮助 LLM 更好地预测下一个 token。

Attention自注意力​

  • 模型在处理当前 token 时，去“查看前面哪些 token 更重要”，并从这些历史 token 里取出有用的信息
  • 简单来说：让当前 token 根据上下文，动态关注历史 token。

KV的Transformer 的 Attention的向量​

  • K 用来判断“这个历史 token 跟我现在的问题相关不相关”
  • V 用来提供“这个历史 token 实际携带的信息”
  • K 类似“索引特征”，V 类似“实际信息”
bash
K = Key 向量
V = Value 向量