PageTurner Example · AI 大模型论文
Attention Is All You Need
Transformer 论文中文快读版:从 Q/K/V 注意力、编码器-解码器栈,到为什么它成为现代大模型的底层接口。
Architecture Snapshot
输入嵌入
→
位置编码
Encoder × 6
↔
Decoder × 6
Multi-Head Attention
+
Feed Forward
残差连接
+
LayerNorm
数据速览
2017
论文发布年份
8
base model 多头注意力头数
6+6
编码器层 + 解码器层
512
base model 的 d_model
1
self-attention 最大路径长度
28.4
WMT14 En-De BLEU,大模型结果
一页读懂
它真正换掉的不是 RNN,而是“顺序处理”的思维。
Transformer 把序列建模拆成两件事:用 attention 让 token 直接互相看见,用 position encoding 告诉模型顺序在哪里。这样训练可以并行,长距离依赖不再被一步步传递稀释。
核心结论只靠 attention 加前馈网络,就能在机器翻译任务上达到当时领先结果,并显著改善训练并行性。
快读判断:读 GPT、BERT、T5、Llama、MoE、长上下文优化之前,这篇是地基。它回答“为什么现代大模型可以堆得这么大”。
结构图解
Encoder 负责读懂上下文,Decoder 负责边看边生成。
PageTurner 在论文页里会把结构性内容抽出来做成图解,而不是只翻译段落。下面这张图保留原论文的模块关系,但用中文阅读顺序重排。
Transformer Stack
Encoder Layer × 6
Multi-Head Self-Attention每个 token 看全句
Add & Norm残差稳定训练
Position-wise FFN逐位置非线性加工
Add & Norm输出记忆表征
Decoder Layer × 6
Masked Self-Attention不能偷看未来
Encoder-Decoder Attention对齐源序列
Position-wise FFN生成分布前加工
Linear + Softmax预测下一个 token
公式翻译
Q/K/V 是把“相关性”拆成可计算的检索问题。
一个 token 先投影出 Query、Key、Value。Query 去和所有 Key 计算相似度,再用这个权重加权 Value。多头注意力则是在多个子空间里并行做这件事。
Attention(Q, K, V) = softmax(QKᵀ / √dₖ) V
Attention Heatmap · 示例可视化
深色格代表当前 token 更关注的位置。示例页会把抽象公式转成可感知的“注意力分布”图,而不是让读者在符号里迷路。
数据可视化
三类架构的关键差异:路径长度与顺序依赖。
原论文用复杂度表说明 self-attention、recurrent、convolutional layer 的差异。快读页会把这个表转成图表,先给直觉,再保留原始对照。
Maximum Path Length · 越短越利于长距离依赖
| Layer Type | 每层复杂度 | 顺序操作 | 最大路径长度 |
|---|---|---|---|
| Self-Attention | O(n² · d) | O(1) | O(1) |
| Recurrent | O(n · d²) | O(n) | O(n) |
| Convolutional | O(k · n · d²) | O(1) | O(logₖ n) |
训练配方
论文真正厉害的地方,也包括一套工程上可复现的训练配方。
Residual + LayerNorm让深层堆叠稳定,减少信息在层间损失。
Label Smoothing缓解过度自信,提升泛化和 BLEU 表现。
Warmup Schedule学习率先升后降,配合 Adam 稳住早期训练。
| 配置 | Base | Big | 阅读备注 |
|---|---|---|---|
| d_model | 512 | 1024 | 隐藏表示维度,决定主干宽度 |
| Attention Heads | 8 | 16 | 多视角关系建模 |
| d_ff | 2048 | 4096 | 前馈网络中间层宽度 |
| Dropout | 0.1 | 0.3 | 控制过拟合,big model 更强正则 |
读者路线图
从这篇论文到今天的大模型,中间有一条清晰演化线。
2017Transformer 提出,证明 attention-only 架构可行。
2018BERT 将 encoder-only 架构用于双向语言理解。
2018+GPT 系列强化 decoder-only 自回归生成路线。
2020+Scaling laws、稀疏专家、长上下文和高效注意力成为扩展主线。
局限与误读
读 Transformer,别只记“Attention 很强”。
误读 1:attention 可以自动理解一切。它提供的是关系建模机制,能力还来自数据、目标函数、规模、优化和后续工程。
误读 2:位置编码只是小细节。没有位置信息,attention 本身对序列顺序不敏感。后来的 RoPE、ALiBi 等长上下文方法都沿着这个问题继续发展。
误读 3:复杂度只有好处。self-attention 的 O(n²) 代价在长上下文下很重,这也是高效注意力、KV cache 和分块策略持续演进的原因。
来源与说明
原文链接
论文:Attention Is All You Need · arXiv:1706.03762。
本页是 PageTurner 的示例快读页,用于展示结构解析、中文转写、数据看板与图表化阅读能力;不是官方译本,也不替代逐段学术引用。