主要组件：

参数定义：

• seq_length: L — 序列中的token数量
• d_model: D — Transformer模型的隐藏层维度
• d_head: d — 每个注意力头处理的维度
• n_tokens: V— 词表数量

1-1. 词嵌入（Embeddings）

词嵌入用于将输入和输出的词汇转换成固定维度的向量。

• 输入词嵌入:
  • 对于输入序列，每个词都被映射到一个 D 维的向量。
  • 如果词汇表大小为 V，则词嵌入矩阵的维度为 [V, D]。
  • 总参数量为：V * D。

2-1. 多头注意力（Multi-Head Attention）流程

• 输入矩阵: 假设有一个输入矩阵 X 的维度为 [L, D]，其中包含 L 个 D维的向量。
• 查询、键、值矩阵:
  • Q = XW^Q — Q 的维度是 [L, d]
  • K = XW^K — K 的维度是 [L, d]
  • V = XW^V — V 的维度是 [L, d]
• 注意力得分计算:
  • 计算为 Attention(Q, K, V) = softmax((QK^T) / sqrt(d)) * V
  • 注意力得分的矩阵维度为 [L, L]
• 输出:
  • 各头的输出被拼接后，再通过输出矩阵 W^O 进行变换（合并来自各头的信息），产生维度为 [L, D] 的最终输出。