本文共 785 字，大约阅读时间需要 2 分钟。
为高效神经网络同时学习权重和连接的方法
作者：Song Han、Jeff Pool 等
单位：斯坦福大学、NVIDIA
发表会议及时间：NIPS 2015
当前的神经网络在计算需求和存储占用上都存在一定的挑战，尤其是在嵌入式系统中部署时更为困难。此外，传统网络的架构通常在训练开始前就固定下来，这意味着在训练过程中无法优化网络的结构。为了解决这些问题，本文提出了一种方法，可以在训练过程中同时学习权重和连接，从而将存储和计算需求降低一大半，同时保持模型的精度。我们的剪枝方法通过三步训练过程实现：首先是对正431}>
在数据集上对未压缩的模型进行完整训练至收敛。第二步，在训练完成后，剪掉权重小于阈值的神经元。第三步，对剪枝后的模型进行权重微调，恢复其精度。通过对AlexNet和VGG-16的实验表明，我们的方法可以将参数量减少9倍和13倍而不影响模型性能。
通过在训练过程中改变模型结构，可以减少模型参数量、降低计算量、加快推理速度。这种方法的核心在于利用训练时学习到的权重不仅用于预测结果，还可以作为衡量神经元重要性的依据。
同时训练权重和要剪的神经元可以降低损失。这种方法通过迭代训练的方式减少剪枝对精度的影响，并讨论了正则化方法在剪枝过程中的影响。
在Imagenet数据集上，本文的方法在将AlexNet压缩了9倍参数的情况下，精度基本保持不变。类似实验表明，VGG-16的参数量可以减少13倍，而总体性能并未下降。
转载地址：http://jtgyk.baihongyu.com/