超参数调整：神经网络 101

优化超参数：深度学习神经网络入门指南

如何通过调整超参数来提高神经网络的“学习”和“训练”

背景

在我之前的文章中，我们讨论了神经网络如何预测和从数据中学习。这其中有两个过程负责这一点：前向传递和后向传递，也被称为反向传播。您可以在这里了解更多信息：

前向传递和反向传播：神经网络 101

通过手动和使用PyTorch的代码来解释神经网络如何“训练”和“学习”数据中的模式

towardsdatascience.com

本文将深入探讨如何优化这个“学习”和“训练”过程以提高模型的性能。我们将涵盖的领域包括计算改进和超参数调整以及如何在PyTorch中实施！

• 华盛顿大学和杜克大学的研究人员推出 Punica：一个人工智能系统，用于在共享GPU集群中为多个LoRA模型提供服务
• 中国上海交通大学的研究人员介绍了TransLO：一种基于窗口的点云遮蔽变换器框架，用于大规模LiDAR里程计
• “山姆·奥尔特曼被开除，不再担任OpenAI的首席执行官”

但是，在开始之前，让我们快速回顾一下神经网络！

快速回顾：神经网络是什么？

神经网络是一种大型的数学表达式，试图找到一种“正确”的函数，可以将一组输入映射到其相应的输出。下面是一个神经网络的示例：

每个隐藏层神经元执行以下计算：

• 输入：这些是我们数据集的特征。
• 权重：缩放输入的系数。算法的目标是通过梯度下降找到最优系数。
• 线性加权和：求输入和权重的乘积的总和，并添加偏差/偏移项，b。
• 隐藏层：存储多个神经元以学习数据集中的模式。上标代表层，下标代表该层中的神经元编号。