一行代码修复PyTorch训练隐性内存泄漏：loss.detach().item()

如果你在训练时发现 GPU 内存即使在 batch size 不变的情况下也在持续增长，那么原因几乎总是一样的：直接将 loss 或 metric tensor 追加到 Python 列表中，而不是先 detach 它们。每次 append 的 tensor 都仍然带着计算图，所以 PyTorch 会在整个运行期间保留每一个中间激活值在内存中。修复方法很简单，只需要做一处改动：将 losses.append(loss) 替换为 losses.append(loss.detach().item())，计算图会在每次反向传播后立即被释放。

这是一个很小的习惯，但它却是那些本来可以轻松放入内存的训练任务在运行数小时后崩溃的最常见原因之一。如果你在调试类似的内存泄漏，在假设需要更大显存之前，不妨先检查一下 torch.cuda.memory_summary()。更多关于正确扩展 PyTorch 工作负载的内容：Hire PyTorch Developers

For further actions, you may consider blocking this person and/or reporting abuse

We're a place where coders share, stay up-to-date and grow their careers.