一、引入：Self-Attention 1.1 Attention 的作用 Attention 中最核心的三个概念是 Query（Q）、Key（K）和 Value（V）。这三个词直接借鉴了信息检索领域的术语，下面先从一个真实的语言难题出发： 句子 A：The bank of the river.（河边） 句子 B：Money in the bank.（银行） 同一个词 “bank” 在两句

一、位置编码的作用 自然语言是一种高度依赖顺序的符号系统。同样的几个词，仅仅调换顺序就可能产生截然不同的含义。 Transformer 的自注意力机制是排列不变的：它仅基于 token 之间的内容相似度计算权重，完全不依赖 token 在序列中的位置。这意味着，如果不加位置信息，模型会将输入序列视为一个无序集合，比如： 序列 A：我 打 你 序列 B：你 打 我 这两个序列的词表相同（均

一、从 RNN 到 Transformer 在 Transformer 成为自然语言处理、语音识别、多模态建模等序列任务的通用基础架构之前，循环神经网络(RNN) 及其进阶变体 LSTM、GRU，长期主导序列建模领域。Transformer 的诞生并非无迹可寻的创新，而是为了系统性解决 RNN 系列架构的固有缺陷，打破传统序列模型的性能上限与算力瓶颈。 1.1 RNN 的缺陷 文本、语音、时间

样式 公式位置 行内模式式使用$...$，在文本之间插入公式；显示模式$$...$$，在单独的一行使用。 上标、下标 上标： ^，下标：_。 示例： C_n^2 为 Cn2C_n^2Cn2​。 前置上下标 {}_1^2\!C_3^4 为 12 ⁣C34{}_1^2\!C_3^412​C34​。 分组 把相同等级的表达式放到一起。 符号： {} 如 e

一、CUDA Toolkit 安装 这里选择自定义： 这里的 Visual Studio Integration 一定要选上，因为接下来是在 VS 上进行开发的，并且在安装 CUDA Toolkit 之前就要保证要先安装好 VS： 这里 Nsight 相关的都取消勾选，我在这里勾选了的话后面安装时会报错。 下载好后可以在 cmd 中进行验证： 1nvcc -V 同时也可以看见它自动为我

在 Python 开发（特别是使用 PyTorch 进行深度学习训练）时，许多人认为 a = a + b 和 a += b 是完全等价的。但在底层内存管理和性能表现上，它们有着本质的区别。理解这一点，对于优化数据处理管道和避免显存碎片化至关重要。 先看结论： a + b：创建新对象，不会修改原变量 a，只是返回相加结果 a += b：原地修改（增量赋值），优先修改变量本身；分可变数据类型、不可变

一、安装 Anaconda 下载地址：Anaconda | Individual Edition。 参考安装教程：【Anaconda】史上最全最详细的Anaconda下载安装及使用教程[通俗易懂] 二、下载 CUDA 首先查看自己电脑 GPU 版本，方便下载对应版本的 pytorch，有下面两种方式： 打开 NVIDIA 控制面板： cmd 输入 nvidia-smi：

在 C++（尤其是模板编程）中，名称绑定 和 依赖名称 是编译器如何解析、查找和验证标识符（如变量名、函数名、类型名）的核心机制。 理解这两个概念，是掌握 C++ 模板编程、解释各种奇怪的模板编译错误（如“缺少 typename”或“未找到符号”）的关键。 一、依赖名称与非依赖名称 模板中使用两种名称：依赖名称和非依赖名称。前者是依赖模板参数的类型或值的名称，可以是类型参数、非类型形参或模板参数

在 C++ 中，Lambda 模板 指的是能够像普通函数模板一样，接受泛型参数或显式模板参数的 Lambda 表达式。 Lambda 模板的发展经历了两个阶段： C++14 的泛型 Lambda（Generic Lambdas）：使用 auto 关键字实现隐式模板化。 C++20 的显式模板 Lambda（Explicit Template Lambdas）：引入了 `` 语法，提供了真正完整的

一、引入 变量模板是在 C++14 中引入，允许在命名空间范围内定义模板变量(可以表示一组全局变量)，或者在类范围内定义模板变量（表示静态数据成员）。 例如： 12template <class T> constexpr T PI = T(3,1415926535897932385L); 其语法类似于声明变量（或数据成员），但与声明模板的语法相结合。 对于任何模板，该声明不能出