在人工智能中，解释性梯度的必要性
解释性梯度在人工智能中的必要性
过多的细节可能会让人感到不知所措，但不足的细节可能会引导错误。
“任何足够先进的技术都无法与魔术区分开来” — 亚瑟·克拉克
随着自动驾驶汽车、计算机视觉的进步，以及最近的大型语言模型，科学有时会感觉像魔术！模型的复杂性每天都在增加，当试图向新的观众解释复杂的模型时，很容易挥舞着手臂嘀咕着反向传播和神经网络的事情。然而，描述一个AI模型、它的预期影响和潜在偏见是必要的，这就是可解释的AI的作用所在。
随着过去十年中AI方法的爆炸式增长，用户已经开始接受他们所得到的答案而不加质疑。整个算法过程通常被描述为黑盒子，即使是开发者也不一定能够理解模型是如何得出特定结果的。为了建立对用户的信任和自信，公司必须明确各个系统的公平性、透明性和底层决策过程。这种方法不仅能够对AI系统采取负责任的方式，还能增加技术的采用（https://www.mckinsey.com/capabilities/quantumblack/our-insights/global-survey-the-state-of-ai-in-2020）。
在AI的可解释性中，最困难的部分是清晰地定义需要解释的范围。一位高管和一位AI研究人员对所需信息的数量和接受程度是不同的。找到直接解释和所有可能路径之间的合适信息水平需要大量的培训和反馈。与常见的观点相反，去除解释中的数学和复杂性并不会使其变得毫无意义。的确存在过度简化和误导人们认为他们对模型及其可行性有深刻理解的风险。然而，使用正确的技术可以在适当的层次上给出清晰的解释，这将导致人们向其他人，如数据科学家，提出问题以进一步了解…
