这篇人工智能论文提出了一种高级的图像识别差分隐私方法，具有更好的准确性
This AI paper proposes an advanced differential privacy method for image recognition with better accuracy.
机器学习由于近年来的表现在多个领域有了显著增长。由于现代计算机的计算能力和显卡的支持，深度学习实现了有时超过专家预期的结果。然而，它在医学或金融等敏感领域的使用会引发机密性问题。一种正式的隐私保证，称为差分隐私（DP），禁止具有机器学习模型访问权的对手获取特定训练点的数据。图像识别中差分隐私的最常见训练方法是差分私有随机梯度下降（DPSGD）。然而，当前DPSGD系统所导致的性能下降限制了差分隐私的部署。
现有的差分隐私深度学习方法仍需要更好的操作能力，因为在随机梯度下降过程中，这些技术允许所有模型更新，而不管相应的目标函数值是否得到改善。在某些模型更新中，向梯度中添加噪声可能会使目标函数值变差，尤其是在收敛即将发生时。由于这些影响，生成的模型会变差。优化目标降级，隐私预算浪费。为了解决这个问题，中国上海大学的研究团队提出了一种基于模拟退火的差分隐私随机梯度下降（SA-DPSGD）方法，该方法接受一个候选更新的概率取决于更新的质量和迭代次数。
具体而言，如果模型更新提供更好的目标函数值，则接受该更新。否则，以一定的概率拒绝该更新。为了防止陷入局部最优解，作者建议使用概率性拒绝而不是确定性拒绝，并限制连续拒绝的次数。因此，在随机梯度下降过程中使用模拟退火算法来选择模型更新的概率。
以下是对所提方法的高级解释：
1- DPSGD迭代生成更新，并根据此计算目标函数值。从上一次迭代到当前迭代的能量变化以及已批准的解决方案总数用于计算当前解决方案的接受概率。
2- 当能量变化为负时，接受概率始终保持为1。这意味着接受朝正确方向前进的更新。即使模型更新是嘈杂的，训练仍然主要朝着收敛方向移动，这意味着实际能量可能具有非常小的概率为正。
3- 当能量变化为正时，随着已批准的解决方案数量的增加，接受概率以指数方式下降。在这种情况下，接受解决方案会使能量变差。然而，确定性拒绝可能导致最终解决方案落在局部最优解内。因此，作者建议使用递减的小概率接受具有正能量变化的更新。
4- 如果连续拒绝次数过多，仍然允许更新，因为连续拒绝次数有限。随着训练接近收敛，接受概率可能降低到几乎拒绝所有具有正能量变化的解决方案，甚至可能达到局部最大值。通过限制拒绝次数，可以防止这个问题，从而在必要时接受解决方案。
为了评估所提方法的性能，将SA-DPSGD应用于三个数据集：MNIST，FashionMNIST和CIFAR10。实验证明，与最先进的方案DPSGD，DPSGD(tanh)和DPSGD(AUTO-S)相比，SA-DPSGD在隐私成本或测试准确性方面显著优于它们。
根据作者的说法，SA-DPSGD显著缩小了私有图像和非私有图像之间的分类准确度差距。通过随机更新筛选，差分隐私梯度下降在每次迭代中朝着正确方向进行，使得获得的结果更加准确。在相同的超参数下，SA-DPSGD在MNIST，FashionMNIST和CI-FAR10数据集上达到了较高的准确率，相比于最先进的结果。在自由调整超参数的情况下，所提方法实现了更高的准确率。
