理解Transformer

LLM 解决的是“目标”, Transformer 解决的是“实现”

• Transformer 是目前大模型的核心网络架构。
• Transformer 解决的是“实现”

比如：

• 输入怎么编码
• token 和 token 之间怎么建立关系
• 上下文怎么被建模
• 模型怎么训练得更高效