Transformer

Transformer 是 2017 年那篇《Attention Is All You Need》提出的网络结构。它最关键的改变是：丢掉循环，只用注意力。

它解决了什么问题

在 Transformer 之前，处理文本主要靠 RNN/LSTM：一个词一个词往后读，读到第五个词时第一个词的信息已经衰减得差不多了。这带来两个毛病：

1. 长距离依赖差——句子一长，前后关系就记不住；
2. 没法并行——必须按顺序算，GPU 再强也只能干等。

Transformer 把「读」变成「一次看全」：每个词同时和句子里所有词计算相关性，一步就能建立远距离连接，而且整个矩阵运算可以并行。这才让训练千亿参数模型在工程上变得可行。

三个核心部件

• 自注意力（Self-Attention）：每个词生成 Query、Key、Value 三个向量，用 Q 和所有 K 点积算出「我该关注谁」，再按权重加权 V。本质是让模型自己学「看哪里」。
• 多头（Multi-Head）：并行做多组注意力，有的头学语法关系，有的学指代，有的学语义相似，最后一拼。
• 前馈网络 + 残差连接：每个注意力层后面接一个小型全连接网络，配合残差和 LayerNorm 保证深层也能训得动。

为什么它成了通用骨架

因为它对「序列」本身不挑数据类型——文本、代码、音频帧、图像 patch，只要能切成 token 就能喂进去。所以后来的 GPT（只用解码器）、BERT（只用编码器）、ViT（图像）、Whisper（语音）都是同一套结构的变体。今天的「大模型」基本等于「大规模 Transformer」。

常见误解

• 它不等于 GPT。GPT 是 Transformer 解码器部分的一种用法，Transformer 是更底层的结构。
• 注意力不是解释性。注意力权重高不代表模型「关注」了这个词，别把它当可解释性证据。