浮点运算次数FLOPS（计算复杂度）#

卷积核的长宽深通…，卷积核的个数，卷积核要移动的距离(输入的长宽深…)

假设输入特征图的尺寸为H，W，输入输出通道数都为C，卷积核的大小为n。

FLOPS≈输出H * W * C^2 * n^2

C^2指的是输入通道数和输出同样通道需要的卷积核数

参数量（空间复杂度）#

卷积核的长宽深…，卷积核的个数

假设输入特征图的尺寸为H，W，输入输出通道数都为C，卷积核的大小为n。

参数量≈C^2 * n^2

卷积核的宽，高，深，个数（输出的深）；输出的宽，高

为了解决：#

损失出现在最深层，数据在最浅层，深层训练的比较快（靠近损失梯度大），浅层的训练的比较慢(传来的梯度小)导致：

1.浅层训练慢，但是浅层一变，其他层要跟着变

2.深层要不断重新学习很多次，导致收敛变慢

所以需要数值稳定性，此方法提供了缩放，增加了数值稳定性。

但性能的提升实际上可能是在训练中加入了随机噪音

原理：#

1.训练时向前传播时，在BN层停下，等待一个batch里的所有样本计算到该层，这对这个batch做归一

2.按特征/通道求平均：对于某个x(特征/通道)，对每个x以外的所有维度(批量/批量，长，宽)求均值，标准差，然后对x进行Z-score归一化(\epsilon防止除0)

计算方式： 跨越整个 Batch N 以及空间维度 H, W，为每一个通道 C 计算独立的均值和方差。

适用场景： 标准的计算机视觉分类任务（如 ResNet）。

核心痛点： 极度依赖 Batch Size 的大小。当 Batch Size 太小（例如小于 8）时，计算出的统计量极不稳定，会导致模型性能崩塌。此外，它不适合处理长度可变的序列数据（如 RNN）。

该层额外维持一个running_mean和一个running_var，用动量方法根据每个batch的mean和var更新，不是参数，是buffer，给以后用

$\text{running\_stats} = (1 - \text{momentum}) \times \text{running\_stats} + \text{momentum} \times \text{batch\_stats}$

在推理的时候和dropout一样必须关掉，一个样本一个输出，自己归一输出就是0了，关掉bn之后会用running_mean和一个running_var

Packing#

在词汇表里加入<pad>，然后 裁剪/用<pad>填充句子到”截断长度”，并且记录真实长度，[输入，输入长度，输出，输出长度]，这样在for batch_data,len_data,batch_labels,len_labels in dataloader:的时候能直接对一个batch的数据同时处理

packing直接在进模型前就把pad删了，因为RNN的每个时间片是依次进行的，不删pad还会占用计算资源

Padding Mask#

保留 <pad> 在矩阵里，但是在计算 Attention时，使用 Mask 矩阵。需要 [Data, Mask]（不再强依赖 Lengths 列表，而是依赖由 Data的 <pad> 生成的 True/False 矩阵）

计算时带着 <pad> 一起算，但在 Softmax 之前，把 Mask 为 0 的位置的分数设为负无穷，这样 <pad> 的权重就变成了 0，不会影响其他词。

方便矩阵计算直接并行，然后用mask删除影响。

加性注意力分数#

为了得到decoder中的某一个有全局视野的输出

用在RNN/LSTM/Seq2Seq中，两个W，一个v，需要训练，W矩阵可以帮助长度不等的k和q对齐长度然后相加

k：encoder中某一步的隐藏层状态，有原始序列中的每个位置的信息。

q：decoder里上一步输出的隐藏层的值是q(h大小)，包含了翻译到现在位置句子的状态

v（不是value）：把tanh后有长度的向量压缩成一个数字作为注意力分数的参数矩阵

1.分别计算q和每一时间步的k的注意力分数，过softmax得到注意力权重

2.用注意力权重加权求和”encoder的各隐藏状态”（这个才是value，加性方法key=value）得到Context Vector

3.相比普通seq2seq来说，decoder的输入变了（训练和预测都一样），原来输入词向量concatenate的是h0，现在concatenate Context Vector(而不是h0)

点积注意力分数#

同样用在RNN/LSTM/Seq2Seq中，和加性差不多

当k和q等长时可以用，相当于把MLP换成了点积

自注意力分数#

前提：一个句子内部各个词希望获得自己的上下文信息

KQV#

一个词需要其他词的信息，对于一个输入单词 X来说

Query：代表了自身的偏好。 我想查xx东西

Key：代表了X自身的属性特点（让别人用Q*K查询影响大小用的） 我声明是XX东西

Value：代表了对其他词的内涵（被查的时候用注意力权重乘以V加权求和） 我的内容

对于一个输入单词 X，计算其KQV，三个W矩阵在训练时学习且整个序列共用这三个矩阵

想得到一个词X的输出，我们需要该词X的 Q 和所有词的 K 和 V 来提供信息

注意力分数/注意力权重#

1.X的Q扫描各个词的K，用Q · K得到：对于X来说，各个词的注意力分数（包括X自己）

2.注意力分数过softmax得到各个词对于X来说的注意力权重

3.X时间片的输出等于""各词的V”对于”X对各词的注意力权重的加权和”

d_k是向量Q的长度，防止注意力分数过大，不同分数softmax太极端，非0即1

位置编码#

刚刚的KQV直接计算出的结果是不包含位置信息的，即使输入的词调换顺序，得到的结果还是一样的，所以要引入位置编码

位置编码没有改变注意力机制本身，只是改变了输入

X： (n,d) 输入的词向量矩阵

n: 序列长度，d: 向量维度

i: 第i个词(时间片)，2j<第2j列>，代表偶数列(向量维度列)

对于某个向量维度（列），不同时间片（行）获得不同的P值，P的矩阵和X同等大小

位置信息直观理解:#

1.对于前面一些的列/特征/j 不同的位置/i会让p变化的比较快，后面的特征列的p随i变化较慢，有点像二进制编码，为了记录不同内容，第一位总是变得最快

2.位于i+δ处的位置编码可以通过i处的位置编码的线性投影表示:

投影矩阵跟i（位置）无关，也就是在特征列j确定的前提下，相邻的位置编码是直接能得到互相转换的关系的，所以说位置编码记录的是相对位置信息。

**人话：对于同一个特征，用序列的不同位置的编码，计算得到这两个位置的距离。**也就是说假如模型有了位置编码的信息，也就等价有了两个词相对位置的信息

最终该注意力层输入输入由原X变为X+P，不知道为啥加法能融入位置信息，但是确实是加法

Train#

几乎和seq2seq一样

1.decoder的输入直接看正确答案，最前面加上<bos>，正确答案直接加上<eos>

2.但是算自注意力的时候要用掩码矩阵（Masked self-attention）来防止未来视，也就是即使有全部输入但是不给模型看，这样矩阵训练很快，免得一个个像推理一样训

inference#

1. 推理时初始只有<begin>也就是用while循环实现

2. 算自注意力的时候某时间片的attention必须只计算当前时间片及以前所有时间片的信息，对比seq2seq预测新词只需要上个词的词向量。在decoder的自注意力部分，这里需要以前所有已预测的词的kv，所以引入kv-cache

3. 算自注意力的时候

   缓存机制：我们在显存中开辟一块空间，专门存放过去已经计算过的所有词的 K 和 V。

   单步输入：预测第 t 个词时，不把前面所有词拼成句子输入，而只输入上一步预测出的那 1 个新词。

   提取与拼接：这个新词经过 Linear 层得到自己的 Q_{new}, K_{new}, V_{new}。然后，模型去显存里把过去存好的历史 [K_1, K_2, … K_{t-1}] 拿出来，和 K_{new} 拼在一起。

   计算并更新：用 Q_{new} 和拼接后的完整 K 计算注意力权重，再乘以拼接后的完整 V。计算完成后，把新得到的 K_{new}, V_{new} 追加存入 KV-Cache 显存中，供下一步使用。

4. 没有q-cache，因为一个q算出来后直接被拿去算当前时间片的输出了，之后的时间片再也用不上这个q了，某个时间片只需要保留k和v让之后的q来取信息

ATvsNAT(non-autoregressive)#

对于Decoder来说：

1.AT decoder并行比较差

2.NAT decoder输出平行化，比较快，但是需要其他规范长度的手段，比如

另外一个predictor吃encoder的输入，输出decoder的输入

1.带掩码的语言模型#

训练目标由预测完整句子变成把输入遮起来一部分完型填空。

训练时，每次推理随机（比如15%）概率将输入一些词元换成<mask>之后再输入，让encoder模型输出预测mask

但是在这15%的<mask>里，有80%的概率确实变成mask，10%概率不变mask而是变换成另一个词向量，10%保留原有词向量

这样做是因为在微调阶段，真正推理的时候是没有mask的，不能在训练时让模型养成看到mask才推理的习惯

2.下一个句子预测#

训练目标是让模型判断一个句子对中的两个句子是不是相邻的

在输出的<cls>位置预测这两个句子是否相邻

<cls>做二分类只是一个手段，我们推理的时候不在意二分类准不准，<cls> 在预训练时已经被打造成了一个完美的“全局句子特征提取器”，可以加点层用来做些其他东西。

1. 前向传播：张量在三个组件中的变形记#

**A. 图像编码器 (Image Encoder) **

• 输入：一张图像张量 $X \in \mathbb{R}^{1 \times 256 \times 256}$（通常会被复制成 3 通道以适配预训练权重）。
• 操作：image encoder部分使用的是ViT。
  1. 它首先把图像像切豆腐一样，切成 $16 \times 16$ 像素的 Patch。总共切出 $(256/16) \times (256/16) = 256$ 个小块。
  2. 每个小块通过一个线性层（可以理解为对每个小块做一个全连接操作），展平并投影成一个长度为 768 的向量。此时张量形状变为 $256 \times 768$。
  3. 加上位置编码后，输入多头自注意力层。每个 Patch 会和其他所有 Patch 进行点积计算（$QK^T$），来理解全局的结构。
• 输出：经过多层堆叠后，输出一个包含丰富全局语义的图像嵌入向量矩阵（Image Embedding） $E_I \in \mathbb{R}^{16 \times 16 \times 256}$（这里假设输出通道被压缩到了 256，宽和高是 $256/16=16$）。

B. 提示编码器 (Prompt Encoder) —— 表达意图

• 输入：医生给定的一个坐标点，比如 $(x=128, y=128)$，以及它的标签（1代表前景）。意思就是人工可以直接告诉模型确定这个点是目标。
• 操作：将这个坐标进行位置编码，得到长256的向量（类似于transformer里用正余弦函数表征相对位置），再”直接加上”一个表示“这是正向提示（比如医生希望包含这个区域）”的可学习参数矩阵。前者之后可告诉某个图像块是否和医生的点位置相近，后者可以告诉是否和医生的点图像语义相近。
• 输出：一个提示嵌入向量（Prompt Embedding） $E_P \in \mathbb{R}^{N \times 256}$（$N$ 是提示点的数量，这里 $N=1$）。256长才能作为Q查询image encoder的256维的输出。
• 这个编码器的参数都是预训练好的，只是用SAM就不用动，帮你把人工输入翻译给模型的。

C. 掩码解码器 (Mask Decoder) ——“双向交叉注意力”

• 输入：第一次image encoder的输出 和 提示嵌入 $E_P$ （只在第一次提取记忆的时候有提示嵌入，后续memory bank有内容后image encoder的输出只过memory attention）
• 第一步：提示指向图像 (Prompt-to-Image Attention)
  • 此时，提示 $E_P$ 作为 Query ($Q$)，图像 $E_I$ 作为 Key ($K$) 和 Value ($V$)。
  • 张量操作：计算 $Q \cdot K^T$ 得到注意力分数矩阵。这个操作的物理意义是：“拿着给定的这个坐标点，去全图 $16 \times 16$ 的网格里扫描，看哪些位置的图像特征和这个点的意图最匹配”。经过 Softmax 后，把图像特征 $V$ 加权求和，更新提示向量。
• 第二步：图像指向提示 (Image-to-Prompt Attention)
  • 反过来，图像 $E_I$ 作为 $Q$，更新后的提示作为 $K$ 和 $V$。
  • 张量操作：再次计算点积。物理意义是：“让图像中的每一个特征网格，去向提示点索要信息”。比如，图像中某个边缘网格本来不确定自己是不是左心室，但它计算发现自己离提示点很近（点积相似度高），于是它就把提示点的信息吸收过来，更新图像特征。
• 第三步：生成掩码 (Mask Prediction)
  • 经过几次上述的双向更新后，取出最终的图像特征矩阵。
  • 使用你笔记里提到的转置卷积 (Transposed Convolution)，将 $16 \times 16$ 的特征图逐级放大 $4 \times 4$ 倍，恢复到 $64 \times 64$（甚至是原图大小 $256 \times 256$）。
  • 最后经过一个 MLP（全连接层）输出预测张量 $\hat{Y} \in \mathbb{R}^{256 \times 256}$，每个像素值代表该点是左心室的概率。

D. 记忆编码器 (Memory Encoder, 记为 $\mathcal{E}_m$)

思想：如果你给它一张图像 $x$ 和对应的真实掩码 $y$，它会把这对信息压缩成一个高维的“记忆 Token” $m$ ，这个掩码其实是sam自己预测出来的，用来指导后续

把这个记忆 Token 理解为一种“超级提示向量”。以做到之后模型不需要医生给坐标点，它本身就包含了“目标长什么样、边界在哪”的浓缩特征。用这个去做双向注意力交叉掩码

Meg-sam说在医疗领域直接训练这个m会过拟合，换训练方法

优化一组伪观测数据 $z_i = (\hat{x}_i, \hat{y}_i)$ 。当成真输入和真标签，但是他们其实是可以优化的参数，优化过后用他们生成一个记忆token m，这个m就是联邦中医院之间互相传输的数据，大概就2MB，这个才是真正的需要训练的东西，其他都是预制的

• $\hat{x}_i$ 是一个参数化的“伪图像”张量。

• $\hat{y}_i$ 是一个参数化的“伪掩码”张量。

• 训练记忆编码器

  • 前向投影：在每次迭代开始时，把当前这组伪图像和伪掩码 $z_i = (\hat{x}_i, \hat{y}_i)$，送入冻结参数的记忆编码器 $\mathcal{E}_m$ 。

    $m_i = \mathcal{E}_m(\hat{x}_i, \hat{y}_i)$

    这一步确保了无论伪数据长多离谱，经过 $\mathcal{E}_m$ 投影出来的记忆向量 $m_i$，绝对是 SAM2 能够完美解析的“合法格式” 。

  • 条件分割：拿到合法的 $m_i$ 后，用它去条件化控制同样完全冻结的 SAM2 骨干网络 $f_\theta$，对真实的训练切片 $x$​ 进行预测 ：

    $\hat{y} = f_\theta(x; \{m_i\})$

    计算 Loss：将预测的掩码 $\hat{y}$ 与真实的医生标注 $y$ 比较，计算 Dice Loss 和 BCE Loss 。

  • 反向传播 (核心亮点)：

    开始计算梯度！梯度顺着计算图往回流：从 Loss 出发 $\rightarrow$ 穿过冻结的骨干网络 $f_\theta$ $\rightarrow$ 穿过冻结的记忆编码器 $\mathcal{E}_m$ $\rightarrow$ 最终落在伪观测数据 $z_i = (\hat{x}_i, \hat{y}_i)$ 的每一个像素点上！

• 使用训练好的伪数据编码记忆

  特征提取：

  • 伪图像 $\hat{x}_i$ 会通过 SAM2 共享的Image encoder，输出一个图像特征矩阵 $F_x \in \mathbb{R}^{256 \times 16 \times 16}$。

  掩码下采样 (Downsampling)：

  • 伪掩码 $\hat{y}_i$ 原本是 $256 \times 256$ 的高分辨率矩阵。它会经过几个步长为 $2$ 的卷积层（Conv2d, stride=2）。每次卷积，长宽减半，通道数增加。
  • 最终，它被压缩成与图像特征一模一样的形状：掩码特征 $F_y \in \mathbb{R}^{256 \times 16 \times 16}$。

  信息叠加 (Element-wise Addition)：

  • 现在，把图像特征和掩码特征在对应的位置上逐元素相加：$F_{mem} = F_x + F_y$。
  • 加法不仅保留了图像该位置长什么样的特征（$F_x$），还打上了“这里是我们需要关注的目标区域”的标记（$F_y$），为后续的注意力点积做好了完美的分离准备。

  生成记忆 Token：

  • 相加后的矩阵再经过一个 $1 \times 1$ 的卷积层进行通道间的线性组合映射，最终输出的就是我们的记忆张量 $m_i \in \mathbb{R}^{C \times H \times W}$（和image encoder输出同形状）。

  • 存到memory bank （FIFO队列）里

    随机化的伪数据 (x̂, ŷ) │ ▼
    冻结的 Image Encoder

    • 冻结的 Memory Encoder │ ▼ 生成记忆 m │ │ ▼ 真实 CT x ──► 冻结的 SAM 2 │ ▲ │ │ └── 使用记忆 m │ ▼ 预测掩码 │ ▼ 与真实标注 y 比较 │ ▼ Loss │ ▼ 反向传播，只更新 (x̂, ŷ) │ └── 下一轮重新生成 m

  也就是要训练个(x，y)出来，然后用这一对来作为memory，核心是合成一个能指导多种肿瘤的伪标签(x,y)出来，用它来合成memory

E.Memory Attention

第一次运行SAM数据直接穿过去，因为memory bank 是空的

后续Prompt Encoder停用，而输入在这里要将mi和imgencoder的输出做交叉注意力

预计算与缓存 (Pre-compute & Cache) 机制#

• U-Net 的痛点：在 U-Net 中，如果医生对预测的掩码不满意，想要手动点一下修改，整张图像必须从头到尾重新过一遍网络，包括极其耗时的深层卷积计算。
• SAM 的工程智慧：
  1. 重头在编码：图像编码器（ViT）非常庞大，计算 FLOPS 极高。但对于同一张切片 $X$，无论你后面给什么提示词，它的图像嵌入 $E_I$ 是永远不变的。
  2. 一次计算，多次复用：当切片一载入系统，后台立刻只运行一次图像编码器，生成 $E_I \in \mathbb{R}^{16 \times 16 \times 256}$，并将其存入显存 (VRAM)。
  3. 极速交互：当医生在屏幕上点下一个点（生成提示）。系统只需要运行极其轻量级的“提示编码器”和“掩码解码器”。它们直接从显存中调取提前算好的 $E_I$ 进行刚才提到的“双向交叉注意力”点积计算。
  4. 实际效果：这一步的计算量极小，耗时通常在 50 毫秒以内。医生点一下，瞬间就能看到新的分割结果，体验如丝般顺滑。

第一次运行SAM，人工点一次要分割的东西，模型学习到记忆向量m，存在Memory Bank（FIFO队列），之后