用 NumPy 手写反向传播并验证分类效果
教程手工实现含 ReLU 隐藏层和 sigmoid 输出的神经网络,讲解前向计算、交叉熵、He 初始化及梯度更新。实现通过 XOR 全部样本测试,并在双月数据测试集上取得 97% 准确率。
AI 深度解读
不用 PyTorch,只靠 NumPy,能不能把一个神经网络从初始化写到训练完成?作者用一个隐藏层、两组权重和手写反向传播,在 XOR 上预测全对,在双月数据集的测试集上得到 97.0% 准确率。两个实验合计耗时 3.9 秒。
这篇教程值得读的地方,是把框架通常藏起来的计算摊开了:预测怎么来,错误怎么量化,参数又怎么改。但实验结果和作者的部分解释需要分开看,尤其是「没有记忆训练数据」、学习率选择和代码复现条件。
为什么加一个隐藏层,就能解决 XOR
作者实现的 NeuralNetwork 接收两个输入,经过一层 ReLU 隐藏单元,再通过一个 sigmoid 输出二分类预测。所谓「两层网络」,这里计算的是两个带参数的变换层,输入层不计入其中。
网络学到的东西存放在四个数组里:W1、b1 负责输入到隐藏层,W2、b2 负责隐藏层到输出。训练就是不断修改这些数组。
XOR 是检验非线性能力的经典例子:两个输入不同时输出 1,相同时输出 0。四个点交错分布,无法用一条直线完全分开。ReLU 把负数变成零、保留正数,让隐藏单元可以组合出分段的决策边界。
解决 XOR 的关键是引入非线性,单纯堆叠线性变换并不够。
作者给 XOR 配置了 2 个输入、4 个隐藏单元,学习率为 0.5,训练 5000 个 epoch。一个 epoch,就是把训练数据完整处理一遍。结果四个样本全部预测正确,最终损失为 0.0007。
这里有一句需要纠正:原文说线性模型在 XOR 上只能得到 50%。准确的结论应当是,直线无法将四个点全部分对;特定直线也可以分对三个点,不能把 50% 当成所有线性分类器的上限。
反向传播到底在算什么
前向传播先计算 X @ W1 + b1,经过 ReLU,再计算隐藏层输出与 W2 的乘积并加上 b2,最后由 sigmoid 将数值压到 0 到 1。
损失函数采用二元交叉熵(binary cross entropy)。它会对「非常自信但判断错误」的预测施加较大惩罚。作者在取对数前用 np.clip 把预测限制在 1e-15 到 1 - 1e-15,避免计算 log(0)。
接下来才是学习:计算损失对每个参数的梯度,再沿梯度反方向更新参数。梯度可以理解为,参数轻微变化时,损失会朝哪个方向变化。
下面这段是教程最值得细读的部分,它把输出误差逐层传回,并更新四个参数数组:
def backward(self, X, y):
m = X.shape[0]
# 对 sigmoid 与二元交叉熵的组合,
# 梯度可简化为 (prediction - target) / m。
dz2 = (self.a2 - y) / m
dW2 = self.a1.T @ dz2
db2 = np.sum(dz2, axis=0, keepdims=True)
da1 = dz2 @ self.W2.T
dz1 = da1 * relu_derivative(self.z1)
dW1 = X.T @ dz1
db1 = np.sum(dz1, axis=0, keepdims=True)
self.W1 -= self.lr * dW1
self.b1 -= self.lr * db1
self.W2 -= self.lr * dW2
self.b2 -= self.lr * db2
重点看 dz2 = (self.a2 - y) / m:它对应 sigmoid 与二元交叉熵组合下,对输出层激活前数值的梯度,不能直接套到任意激活函数和损失函数上。再看 da1,作者先用更新前的 W2 传递梯度,最后统一修改参数,这个顺序也值得保留。
初始化同样影响训练。作者使用 He 初始化,将随机权重乘以 sqrt(2 / fan_in),偏置设为零,目的是让信号经过 ReLU 时保持较合适的尺度。不过,「Keras 和 PyTorch 默认都这么做」说得过宽,框架默认行为要具体到层和实现,不能由这篇教程一概而论。
97% 准确率证明了什么,学习率又改变了什么
第二个实验采用 make_moons 生成 1000 个双月形样本,噪声为 0.2。这是带噪声的合成数据,不是真实业务数据。作者用 train_test_split 留出 20%,即训练集 800 个样本、测试集 200 个样本,两处都设置了 random_state=42。
网络改为 2 个输入、8 个隐藏单元,学习率仍为 0.5,训练 2000 个 epoch。损失从第 500 轮的 0.1104 降到最终 0.0747,训练集和测试集准确率均为 97.0%。
这说明该次实验在留出样本上也取得了较好的表现。但训练和测试准确率相同,不能单独证明模型「没有记忆训练数据」,前 10 个测试预测全部正确也只是展示结果。要进一步判断泛化表现,还需要更多随机划分或重复实验。
作者还测试了另外两个学习率:
| 学习率 | 训练准确率 | 测试准确率 | 最终损失 |
|---|---|---|---|
0.05 |
88.5% | 89.5% | 0.2478 |
0.5 |
97.0% | 97.0% | 0.0747 |
5.0 |
96.8% | 96.5% | 原文未提供 |
在同样的 2000 轮预算下,0.05 学得较慢;5.0 则没有像直觉预期的那样直接失败。这组结果支持一个实用建议:观察损失变化,再调整学习率。损失下降缓慢时可以尝试提高,震荡或上升时可以尝试降低。
不过,原文没有说清三组实验是否从完全相同的初始权重出发,因此不能把差异全部归因于学习率。作者关于高学习率在更大问题上通常会发散的说法,也不是这几个实验直接验证的结论。
我的判断
我认为这篇教程适合用来补齐训练过程的直觉。相比直接调用 PyTorch 的自动微分,手写矩阵计算更容易看见数组形状、梯度流向和参数更新之间的关系;进入正式模型开发后,框架则能减少大量重复实现工作。
它是一份有价值的教学实验,97% 和 3.9 秒都需要放回实验条件里理解。
其中,3.9 秒是作者报告的 CPU 运行时间,原文没有给出硬件配置,不能据此评价 NumPy 与框架的性能差距。全批量训练让这个小例子代码简洁,但不能据此推导出它在大数据上同样高效。
复现也有几个缺口。作者报告的环境为 Python 3.12.3、NumPy 2.5.4、scikit-learn 1.9.1,安装命令却是没有锁版本的 pip install numpy scikit-learn。这些版本是原文自述,不能当作已经独立核验的环境。
随机数由 np.random.default_rng(42) 创建,但多个网络共享同一个生成器。创建模型的顺序改变,后续权重也会改变,固定种子不等于随便运行某一段都能得到相同结果。此外,双月示例调用了未给出定义的 accuracy,类方法片段也需要整理缩进后才能合并运行。
数值稳定性还有边界:损失中的裁剪可以避免 log(0),却没有解决 sigmoid 内部 np.exp(-z) 在极端输入下的溢出问题。作为教学简化可以理解,作为通用实现则需要继续补齐。
能拿来做什么
- 如果你正在补机器学习基础,可以先复现 XOR,再检查每一步的数组形状。尤其确认标签保持为
(样本数, 1),避免 NumPy 广播产生与预期不同的计算结果。 - 如果你想研究学习率,应让每次实验使用相同的初始参数、数据划分和训练轮数,再记录损失曲线。这样才能更清楚地判断变化来自哪里。
- 如果你用 AI 编程助手补全这份代码,可以要求它解释每个梯度的来源,并补上
accuracy、整理类结构。验收时同时检查损失和留出集表现,不能只看程序是否运行成功。 - 如果准备继续练习,可以按原文方向改造:使用手写数字数据集,将输入改为 64 维、输出改为 10 类并采用 softmax;或者增加第二个隐藏层,尝试每批 32 个样本、每轮打乱顺序。它们是后续实验建议,原文没有提供改造后的成绩。