以民主人工智能为基础的以人为中心的机制设计
人工智能以人为中心的机制设计，基于民主原则
在我们最近的一篇论文中，发表在《自然人类行为》杂志上，我们提供了一个概念验证，即深度强化学习（RL）可以用于在一个简单的游戏中找到大多数人会投票支持的经济政策。这篇论文因此解决了人工智能研究中的一个关键挑战——如何训练与人类价值观一致的人工智能系统。
想象一群人决定集资进行投资。投资获得回报，产生了利润。如何分配这些收益呢？一种简单的策略是将回报平均分配给投资者。但这可能是不公平的，因为有些人投入的资金多于其他人。或者，我们可以按照初始投资的大小按比例向每个人返还。这听起来公平，但如果人们的初始资产不同呢？如果两个人投入了相同的金额，但一个人只是用了一部分可用资金，而另一个人则全部使用了，他们应该获得相同的收益份额吗？
如何在我们的经济和社会中重新分配资源的问题，长期以来一直在哲学家、经济学家和政治科学家中引发了争议。在这里，我们使用深度强化学习作为测试平台来探索解决这个问题的方法。
为了应对这个挑战，我们创建了一个涉及四名玩家的简单游戏。每一次游戏的实例都由10轮组成。在每一轮中，每个玩家都被分配资金，其中资金的数量在玩家之间有所不同。每个玩家都要做出选择：他们可以将这些资金留给自己，或者投资到一个共同的资金池中。投资的资金保证增长，但存在风险，因为玩家不知道收益将如何分配。相反，他们被告知在前10轮中有一名裁判（A）负责重新分配决策，在接下来的10轮中有另一名裁判（B）接替。在游戏结束时，玩家会为A或B投票，并与这个裁判再次进行一场新的游戏。游戏的人类玩家被允许保留这个最后一场游戏的收益，所以他们有动力准确地报告自己的偏好。
实际上，其中一名裁判是预定义的重新分配政策，另一名裁判是我们的深度强化学习代理设计的。为了训练代理，我们首先记录了大量人类群体的数据，并教会了一个神经网络复制人们如何玩这个游戏。这个模拟人群可以生成无限的数据，使我们能够使用数据密集型的机器学习方法来训练强化学习代理，以最大化这些“虚拟”玩家的投票。在完成这个过程之后，我们招募了新的人类玩家，并将AI设计的机制与众所周知的基准进行了比较，例如按照他们的投入比例向人们返还资金的自由主义政策。
当我们研究这些新玩家的投票时，我们发现深度强化学习设计的政策比基准更受欢迎。事实上，当我们进行了一个新的实验，要求第五名人类玩家担任裁判的角色，并训练他们试图最大化投票时，这个“人类裁判”实施的政策仍然不如我们的代理所受欢迎。
人工智能系统有时会因学习与人类价值观不兼容的政策而受到批评，“价值对齐”问题已经成为人工智能研究的一个主要关注点。我们方法的一个优点是，人工智能直接学习如何最大化一群人的陈述偏好（或投票）。这种方法可以帮助确保人工智能系统不太可能学习到不安全或不公平的政策。事实上，当我们分析人工智能发现的政策时，它结合了以前由人类思想家和专家提出的解决重新分配问题的思想。
首先，人工智能选择按照相对而不是绝对贡献比例向人们重新分配资金。这意味着在重新分配资金时，代理考虑了每个玩家的初始财富以及他们的愿意贡献。其次，人工智能系统特别奖励那些相对贡献更慷慨的玩家，可能鼓励其他人做同样的事情。重要的是，人工智能只通过学习最大化人类投票来发现这些政策。因此，该方法确保人类仍然“处于循环中”，并且人工智能产生的解决方案与人类相容。
通过要求人们投票，我们利用了多数民主的原则来决定人们的意愿。尽管多数民主具有广泛的吸引力，但广泛认为，它的一个限制是，多数人的偏好得到了比少数人更多的考虑。在我们的研究中，我们确保少数人由更富有的玩家组成，就像大多数社会一样。但是还需要更多的工作来理解如何权衡多数和少数群体的相对偏好，通过设计允许所有声音被听到的民主制度。
.jpg)
