1 / 10
PageTurner Example · AI 大模型论文

Attention Is All You Need

Transformer 论文中文快读版:从 Q/K/V 注意力、编码器-解码器栈,到为什么它成为现代大模型的底层接口。

Vaswani et al. · NeurIPS 2017 · arXiv:1706.03762 · 示例输出:结构化中文 HTML
Architecture Snapshot
输入嵌入
→
位置编码
Encoder × 6
↔
Decoder × 6
Multi-Head Attention
+
Feed Forward
残差连接
+
LayerNorm
数据速览
2017
论文发布年份
8
base model 多头注意力头数
6+6
编码器层 + 解码器层
512
base model 的 d_model
1
self-attention 最大路径长度
28.4
WMT14 En-De BLEU,大模型结果
一页读懂

它真正换掉的不是 RNN,而是“顺序处理”的思维。

Transformer 把序列建模拆成两件事:用 attention 让 token 直接互相看见,用 position encoding 告诉模型顺序在哪里。这样训练可以并行,长距离依赖不再被一步步传递稀释。

核心结论只靠 attention 加前馈网络,就能在机器翻译任务上达到当时领先结果,并显著改善训练并行性。
快读判断:读 GPT、BERT、T5、Llama、MoE、长上下文优化之前,这篇是地基。它回答“为什么现代大模型可以堆得这么大”。
结构图解

Encoder 负责读懂上下文,Decoder 负责边看边生成。

PageTurner 在论文页里会把结构性内容抽出来做成图解,而不是只翻译段落。下面这张图保留原论文的模块关系,但用中文阅读顺序重排。

Transformer Stack
Encoder Layer × 6
Multi-Head Self-Attention每个 token 看全句
Add & Norm残差稳定训练
Position-wise FFN逐位置非线性加工
Add & Norm输出记忆表征
Decoder Layer × 6
Masked Self-Attention不能偷看未来
Encoder-Decoder Attention对齐源序列
Position-wise FFN生成分布前加工
Linear + Softmax预测下一个 token
公式翻译

Q/K/V 是把“相关性”拆成可计算的检索问题。

一个 token 先投影出 Query、Key、Value。Query 去和所有 Key 计算相似度,再用这个权重加权 Value。多头注意力则是在多个子空间里并行做这件事。

Attention(Q, K, V) = softmax(QKᵀ / √dₖ) V
Attention Heatmap · 示例可视化

深色格代表当前 token 更关注的位置。示例页会把抽象公式转成可感知的“注意力分布”图,而不是让读者在符号里迷路。

数据可视化

三类架构的关键差异:路径长度与顺序依赖。

原论文用复杂度表说明 self-attention、recurrent、convolutional layer 的差异。快读页会把这个表转成图表,先给直觉,再保留原始对照。

Maximum Path Length · 越短越利于长距离依赖
Self-Attention
O(1)
Convolution
O(log n)
Recurrent
O(n)
Layer Type每层复杂度顺序操作最大路径长度
Self-AttentionO(n² · d)O(1)O(1)
RecurrentO(n · d²)O(n)O(n)
ConvolutionalO(k · n · d²)O(1)O(logₖ n)
训练配方

论文真正厉害的地方,也包括一套工程上可复现的训练配方。

Residual + LayerNorm让深层堆叠稳定,减少信息在层间损失。
Label Smoothing缓解过度自信,提升泛化和 BLEU 表现。
Warmup Schedule学习率先升后降,配合 Adam 稳住早期训练。
配置BaseBig阅读备注
d_model5121024隐藏表示维度,决定主干宽度
Attention Heads816多视角关系建模
d_ff20484096前馈网络中间层宽度
Dropout0.10.3控制过拟合,big model 更强正则
读者路线图

从这篇论文到今天的大模型,中间有一条清晰演化线。

2017Transformer 提出,证明 attention-only 架构可行。
2018BERT 将 encoder-only 架构用于双向语言理解。
2018+GPT 系列强化 decoder-only 自回归生成路线。
2020+Scaling laws、稀疏专家、长上下文和高效注意力成为扩展主线。
局限与误读

读 Transformer,别只记“Attention 很强”。

误读 1:attention 可以自动理解一切。它提供的是关系建模机制,能力还来自数据、目标函数、规模、优化和后续工程。
误读 2:位置编码只是小细节。没有位置信息,attention 本身对序列顺序不敏感。后来的 RoPE、ALiBi 等长上下文方法都沿着这个问题继续发展。
误读 3:复杂度只有好处。self-attention 的 O(n²) 代价在长上下文下很重,这也是高效注意力、KV cache 和分块策略持续演进的原因。
来源与说明

原文链接

论文:Attention Is All You Need · arXiv:1706.03762。

本页是 PageTurner 的示例快读页,用于展示结构解析、中文转写、数据看板与图表化阅读能力;不是官方译本,也不替代逐段学术引用。