勇于学习机器学习：解密L1和L2正则化（第四部分）
迈向机器学习的旅程：揭秘L1和L2正则化（第四部分）
探索L1和L2正则化作为贝叶斯先验
欢迎回到「勇于学习机器学习系列：揭秘L1和L2正则化」的第四篇文章。上次，我们的导师和学员一起通过拉格朗日乘数法来探索了L1和L2正则化的属性。
在本篇关于L1和L2正则化的总结部分中，我们将从一个新的角度深入探讨这些主题——贝叶斯先验。我们还将总结L1和L2正则化在不同算法中的应用。
在本文中，我们将回答一些引人入胜的问题。如果其中任何一个话题引起了你的好奇心，你来对地方了！
- 最大后验概率先验与L1和L2正则化的关系
- 使用拉普拉斯分布和正态分布作为先验的直观解析
- 理解L1正则化与拉普拉斯先验引起的稀疏性
- 与L1和L2正则化兼容的算法
- 为何在神经网络训练中通常将L2正则化称为「权重衰减」
- 为何较少在神经网络中使用L1范数的原因
所以，我们已经讨论了MAP与MLE的区别，主要是因为MAP考虑了额外的信息：在看到数据或先验之前的信念。这与L1和L2正则化有什么关联？
让我们深入探讨MAP公式中不同先验是如何塑造我们对L1和L2正则化的方法的（有关如何构建该方程的详细步骤，请查看这篇文章）。
当考虑权重的先验时，我们的初步直觉通常会选择一个正态分布作为模型权重的先验。因此，我们通常为每个权重wi使用均值为零的正态分布，共享相同的标准差𝜎。将这种观念插入MAP中的先验项logp(w)（其中p(w)表示权重的先验）自然地导致了平方权重的和。这个项恰好就是L2…
