如何识别过拟合现象?
观察损失曲线:训练集损失持续下降,但是测试集(验证集)损失先下降,达到最低点之后开始上升;同时模型在训练集上准确率很高,在测试集上效果明显变差,就说明出现了过拟合。
为了避免过拟合,训练应该在哪个Epoch停止?
在测试(验证)损失达到最小值对应的Epoch停止训练,也就是测试损失即将由降转升的临界点。这就是早停法的核心依据。
除了早停法,还有哪些避免过拟合的方法?
正则化:L1、L2权重正则化
Dropout:训练时随机让一部分神经元失活
增加训练数据、数据增强
简化网络结构,减少网络参数
加入噪声、批量归一化(BatchNorm)
如果你想要更简短精简