PyTorch性能分析（二）：从nn.Linear到融合MLP

PyTorch 性能分析系列的第二篇文章来了。这次，作者们不再满足于手动实现矩阵乘法和加法，而是直接使用了深度学习模型中最基础的构建块——`nn.Linear`，并进一步堆叠出多层感知机（MLP）模块。对于正在优化模型训练和推理性能的开发者来说，理解这些基础操作的底层行为，是进行更复杂性能调优的前提。 文章的核心发现是，`nn.Linear` 并非简单地将矩阵乘法和加法拼在一起。在 PyTorch 的性能追踪（profiler trace）中，你会看到一个 `aten::t`（转置）操作出现在 `aten::addmm`（矩阵乘加）之前。这是因为 `nn.Linear` 内部会对权重参数进行转置，然后再与输入相乘。但值得注意的是，这个转置操作并不会在 GPU 上实际搬运数据，它只是在 CPU 上修改了张量的元数据（形状和步长），因此几乎不消耗 GPU 时间。另一个关键点是，在 `nn.Linear` 的调度链中，你找不到单独的 `aten::add`（偏置加法）操作。这是因为偏置加法已经被“折叠”进了矩阵乘法核函数（kernel）中，作为所谓的“尾声”（epilogue）计算。这意味着，GPU 在执行矩阵乘法后，会立即在同一个核函数内完成偏置加法，然后再将结果写回显存（HBM），从而避免了额外的核函数启动开销和内存读写。 文章进一步将三个 `nn.Linear` 层堆叠，中间插入激活函数，构成了一个标准的 MLP 块。通过分析这个 MLP 的性能追踪，开发者可以更清晰地看到，当多个线性层串联时，CPU 的调度开销和 GPU 的核函数执行是如何交织的。对于中国跨境电商卖家来说，理解这些底层细节，有助于在使用 PyTorch 训练推荐系统、图像识别模型时，更精准地定位性能瓶颈。例如，如果你发现模型训练时 GPU 利用率不高，很可能是因为 CPU 调度开销过大，或者存在大量未被融合的小型核函数。而像 `torch.compile` 这样的工具，正是通过自动融合这些操作来减少调度开销，从而提升整体性能。这篇文章为读者提供了一个从微观操作到宏观模块的性能分析视角，是优化 PyTorch 模型性能的实用指南。