transformer学习资源汇总（上）
一、基础理论学习资源
（一）核心论文精读
《Attention Is All You Need》：Transformer的开山之作，由Google团队于2017年发表。这篇论文摒弃了传统循环神经网络（RNN）的结构，首次提出仅基于注意力机制处理序列数据的思路，是理解Transformer核心原理的源头。论文详细阐述了编码器-解码器架构、自注意力机制、多头注意力等关键概念，还附带了模型的数学推导与实验验证。许多学习资料都会围绕这篇论文展开解读，建议先通读原文，再结合辅助理解资料深入钻研。
衍生论文拓展：在掌握基础论文后，可进一步研读基于Transformer的经典衍生模型论文，如《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》《Improving Language Understanding by Generative Pre-Training》等，这些论文展示了Transformer在不同NLP任务中的创新应用，能帮助你理解模型的演化方向。
（二）系统讲义与指南
B站Transformer全套讲义：这份讲义将Transformer的学习拆解为八个章节，从整体框架到细节原理逐一讲解。第一章介绍Transformer网络框架，涵盖编码器、解码器、文本向量化、位置编码等核心组成，帮你建立整体认知；第二章讲解文字向量化，以GPT采用的标准词嵌入算法为例，说明如何将文字转换为机器可处理的数值形式；第三章聚焦位置编码，对比RNN与Transformer的序列处理差异，介绍正余弦位置编码、旋转位置编码等主流方式；第四、五章深入解析多头注意力机制的计算过程，包括Q、K、V矩阵变换、点积计算、缩放处理、softmax变换等关键步骤；第六章讲解数值缩放与层归一化，说明残差连接与层归一化如何保障网络训练稳定性；第七章介绍前馈神经网络，以GPT-2为例，讲解其两层线性变换与GELU激活函数的作用；第八章阐述模型输出，包括线性层映射、Softmax概率分布转换，以及训练与推理阶段的不同逻辑。
《Transformer 零基础学习指南》：该指南针对零基础学习者，规划了从入门到实践的学习路径。在基础理论阶段，它用通俗易懂的语言解释自注意力机制、多头注意力、位置编码等概念，避免复杂数学公式的堆砌；在进阶阶段，引导学习者逐步掌握模型的代码实现，还提供了简化版Transformer的代码示例，帮助学习者快速上手。
二、可视化与直观理解资源
（一）架构全景解析
Transformer架构可视化图表：通过可视化图表，能直观看到Transformer由编码器和解码器两部分组成，每部分包含多个重复的层结构。图表清晰展示了输入嵌入、位置编码、多头注意力、前馈网络等关键组件的连接关系，以及数据在模型中的流动路径。例如在机器翻译任务的示意图中，可看到输入序列如何经过编码器处理，再传递到解码器生成输出序列，帮助你快速理解模型的整体工作流程。
编码器-解码器工作流程示意图：以翻译任务为例，这类示意图展示了输入句子“Je suis étudiant”如何通过编码器提取特征，再由解码器逐步生成对应的英文翻译“I am a student”。箭头清晰标注了信息在编码器各层、解码器各层之间的传递过程，以及编码器-解码器注意力机制如何让解码器关注输入序列的相关部分，让你对模型的工作逻辑有更具象的认识。
（二）动画与视频讲解
李宏毅老师Transformer讲解视频：李宏毅老师的讲解以幽默风趣、通俗易懂著称，他用生活化的例子类比Transformer的核心概念，比如将自注意力机制比作“读书时关注重点内容”，让复杂原理变得易于理解。视频中还配有动画演示，展示数据在模型中的流动和注意力机制的计算过程，适合作为入门阶段的辅助学习资源。
B站科技类UP主讲解视频：许多科技类UP主会制作Transformer的科普视频，从不同角度解读模型原理。有的UP主会通过代码实战演示，边写代码边讲解模型的实现细节；有的则会结合实际应用场景，如机器翻译、文本生成，说明Transformer的优势与应用价值。可以根据自己的学习风格选择合适的视频，多维度加深理解。
三、数学原理学习资源
（一）注意力机制数学基础资料
符号说明表与公式推导：部分学习资料提供了详细的符号说明表，涵盖模型尺寸、注意力头数、输入序列长度等关键参数，以及查询（Q）、键（K）、值（V）等核心概念的数学定义。同时，会对自注意力矩阵的计算公式 ( A = softmax(QK^T/\sqrt{d_k}) ) 进行详细推导，解释缩放因子 ( \sqrt{d_k} ) 的作用是防止点积数值过大导致梯度消失，帮助你理解注意力分数的计算逻辑。
线性代数与概率论补充资料：Transformer的数学原理涉及线性代数中的矩阵运算、概率论中的softmax函数等知识。如果你的数学基础薄弱，可补充学习线性代数中的矩阵乘法、转置、逆矩阵等内容，以及概率论中的概率分布、归一化等概念。可汗学院、MIT OpenCourseWare等平台的相关课程，能帮助你夯实数学基础，更好地理解模型背后的数学逻辑。
