斯坦福大学、NVIDIA和德克萨斯大学奥斯汀分校的研究人员提出了跨剧集课程（CEC）：一种新的人工智能算法，可以提高转换器代理的学习效率和泛化能力
斯坦福大学、NVIDIA和德克萨斯大学奥斯汀分校研究人员联合推出的跨剧集课程（CEC）：提升转换器代理学习效率和泛化能力的新型人工智能算法
顺序决策问题正在经历一场重大转变，这是由于基础模型的引入所带来的范式转变。这些模型，如Transformer模型，在包括规划、控制和预训练视觉表征在内的许多领域完全改变了现状。尽管取得了这些令人印象深刻的进展，但将这些数据密集型算法应用于数据较少的领域，如机器人技术，却面临着巨大的障碍。这引发了一个问题，即是否可能将有限量的数据最大化利用，无论其来源或质量如何，以支持更有效的学习。
为了应对这些挑战，一组研究人员最近提出了一种名为Cross-Episodic Curriculum（CEC）的独特算法。CEC技术利用了不同经验在安排课程时分布不同的方式。CEC的目标是提高Transformer智能体的学习和泛化效率。CEC的基本概念是将跨情节的经验合并到Transformer模型中以创建一个课程。该课程以逐步的方式安排在线学习试验和混合质量演示，捕捉了学习曲线和几个情节中技能的改善。CEC利用了Transformer模型强大的模式识别能力创建了一个强大的跨情节注意机制。
团队提供了两个示例场景来说明CEC的有效性，具体如下。
- DeepMind Lab的多任务离散控制强化学习：该场景利用CEC解决了一个离散控制多任务强化学习挑战。CEC开发的课程捕捉了个性化和逐渐复杂情境中的学习路径。这使智能体能够通过逐步学习和适应逐渐掌握越来越困难的任务。
- RoboMimic，使用混合质量数据进行连续控制的模仿学习-与RoboMimic相关的第二个场景使用连续控制和混合质量数据进行模仿学习。CEC创建的课程旨在记录示范者技能水平的增长。
CEC产生的策略在这两个场景中表现出色，并具有强大的泛化能力，这表明CEC是一个在各种情境中增强Transformer智能体适应性和学习效率的可行策略。Cross-Episodic Curriculum方法包括两个关键步骤，具体如下。
- 课程数据准备：课程数据准备是CEC过程的初始步骤。这涉及将事件按特定顺序和结构安排。为了清楚地说明课程模式，这些事件按特定顺序排列。这些模式可以采取许多不同形式，如单个环境中的政策改进、逐渐更难环境中的学习进展以及示范者技能的提高。
- 跨情节注意模型训练：这是训练模型的第二个重要阶段。在此训练阶段，模型被训练以预测动作。这种方法的独特之处在于模型不仅可以查看当前情节，还可以回顾之前的情节。它能够吸收课程数据中所记录的改进和政策调整。由于模型利用了先前的经验，学习可以更加有效地进行。
通常，用代表因果关系Transformer模型的彩色三角形来直观地展示这些阶段。这些模型对于CEC方法至关重要，因为它们使得在学习过程中包括跨情节事件更加容易。模型推荐的动作，由“a^”表示，对于做出决策至关重要。
