研究人员开发出一种准确模拟复杂系统的工具
他们开发的系统消除了模拟中的一种偏见，从而改进了算法，可以提高应用程序的性能
研究人员在设计新算法时经常使用模拟，因为在现实世界中测试想法既成本高又有风险。但由于无法在模拟中捕捉到复杂系统的每个细节，他们通常会收集一小部分真实数据，然后在模拟他们想要研究的组件时重新播放这些数据。
这种被称为跟踪驱动模拟（小块真实数据称为跟踪）的方法有时会导致有偏见的结果。这意味着研究人员可能会无意中选择一种不是他们评估过的最佳算法，而这种算法在真实数据上的表现将比模拟预测的表现更差。
麻省理工学院的研究人员开发了一种消除跟踪驱动模拟中偏见源的新方法。通过实现无偏的跟踪驱动模拟，这种新技术可以帮助研究人员设计更好的算法，包括提高互联网视频质量和提高数据处理系统的性能。
研究人员的机器学习算法利用因果关系原理来学习数据跟踪是如何受系统行为影响的。通过这种方式，在模拟中可以重新播放正确、无偏的跟踪版本。
与先前开发的跟踪驱动模拟器相比，研究人员的模拟方法正确预测了新设计的视频流算法哪个是最佳的，这意味着在减少重新缓冲和提高视觉质量方面表现最佳的算法。不考虑偏见的现有模拟器将指向一个表现更差的算法。
“数据并不是唯一重要的。数据生成和收集背后的故事也很重要。如果你想回答一个反事实的问题，你需要知道数据生成的背后故事，这样你只能干预那些你真正想要模拟的东西，”这种新技术的共同作者、电气工程和计算机科学（EECS）研究生Arash Nasr-Esfahany说。
他的论文的共同作者还有EECS研究生Abdullah Alomar和Pouya Hamadanian；最近的研究生Anish Agarwal PhD ’21；以及高级作者Mohammad Alizadeh，电气工程和计算机科学副教授；和Devavrat Shah，EECS的Andrew和Erna Viterbi教授，数据、系统和社会研究所的成员和信息和决策系统实验室的成员。这项研究最近在USENIX网络系统设计和实现研讨会上发表。
虚假模拟
麻省理工学院的研究人员在视频流应用中研究了跟踪驱动模拟。
在视频流中，自适应比特率算法不断根据用户带宽的实时数据决定要传输的视频质量或比特率。为了测试不同的自适应比特率算法对网络性能的影响，研究人员可以在视频流期间从用户那里收集真实数据用于跟踪驱动模拟。
他们利用这些跟踪来模拟如果在相同的基础条件下平台使用不同的自适应比特率算法会对网络性能产生什么影响。
研究人员传统上认为跟踪数据是外生的，这意味着它们不受模拟过程中被改变的因素的影响。他们认为，在他们收集网络性能数据的期间，比特率自适应算法所做的选择不会影响这些数据。
但这通常是一个错误的假设，会导致对新算法行为的偏见，使模拟无效，Alizadeh解释说。
“我们认识到，其他人也认识到，这种模拟方法可能会导致误差。但我认为人们并不一定知道这些误差有多大。”他说。
为了开发解决方案，Alizadeh和他的合作者将问题框架化为因果推断问题。为了收集无偏的跟踪，必须了解影响观察数据的不同原因。有些原因是系统固有的，而其他原因则受到行动影响。
在视频流示例中，网络性能受比特率自适应算法所做的选择影响，但也受到固有元素的影响，如网络容量。
“我们的任务是分离这两种影响，试图了解我们所看到的行为方面是系统固有的，我们所观察到的行为有多少是基于已采取的行动的。如果我们可以分离这两种影响，那么我们就可以进行无偏模拟。”他说。
从数据中学习
但是，研究人员通常无法直接观察到内在属性。这就是新工具CausalSim的用武之地。该算法可以仅使用跟踪数据学习系统的基本特性。
CausalSim使用通过随机对照试验收集的跟踪数据，并估算产生这些数据的基本功能。模型告诉研究人员，在用户体验相同的基础条件下，新算法将如何改变结果。
使用典型的跟踪驱动的模拟器，偏差可能会导致研究人员选择性能更差的算法，即使模拟表明它应该更好。CausalSim帮助研究人员选择经过测试的最佳算法。
麻省理工学院的研究人员在实践中观察到了这一点。当他们使用CausalSim设计一个改进的比特率自适应算法时，它导致他们选择了一个新变种，其停顿率几乎比一个广为接受的竞争算法低1.4倍，同时实现了相同的视频质量。停顿率是用户重新缓冲视频的时间。
相比之下，专家设计的跟踪驱动模拟器预测相反的结果。它表明，这个新变体应该导致停顿率几乎增加1.3倍。研究人员在实际视频流媒体上测试了算法，并确认CausalSim是正确的。
“我们在新变体中获得的收益非常接近CausalSim的预测结果，而专家模拟器则完全错了。这真的很令人兴奋，因为这个专家设计的模拟器在过去十年中一直被用于研究。如果CausalSim如此明显比它更好，那我们还能做什么呢？”Hamadanian说。
在为期10个月的实验中，CausalSim始终提高了模拟精度，导致使用基线方法设计的算法出错约一半。
未来，研究人员希望将CausalSim应用于无法获得随机对照试验数据或特别难以恢复系统因果动力学的情况。他们还希望探索如何设计和监控系统，使其更易于进行因果分析。
