MIT的这项AI研究展示了基于光的机器学习系统如何能产生更强大和高效的大型语言模型
MIT's AI research demonstrates how light-based machine learning systems can generate more powerful and efficient large-scale language models.
深度神经网络（DNN）就像计算机的超级大脑。它们擅长从大量信息中找出棘手的东西。它们使计算机足够聪明，能够理解图片，像人类一样交谈，自动驾驶汽车，甚至帮助医生发现疾病。
DNNs 模仿我们大脑的工作方式，使它们能够高效解决常规计算机程序难以应对的复杂问题。然而，当前支撑现代深度神经网络（DNNs）的数字技术正处于其能力的边界，而机器学习领域却不断扩展。而且，这些技术需要大量能源消耗，并且仍然局限于大型数据中心。这种情况激发了对新的计算方法的发现和创造。
因此，麻省理工学院的研究人员致力于改善这种情况。由麻省理工学院带领的团队巧妙地设计出了一个系统，有望在多个层面上超越驱动 ChatGPT 的机器学习程序的能力。这个新设计的系统还比现代机器学习模型驱动的顶级超级计算机消耗的能源要少得多。这个系统的能耗效率提高了100倍以上，计算密度提高了25倍。它的计算依赖于操作光而不是电子，通过数百个微米级激光器实现。
- 腾讯AI实验室的研究人员推出了IP-Adapter：一种用于文本到图像扩散模型的文本兼容图像提示适配器
- Meta AI发布了SeamlessM4T：一个基础的多语言和多任务模型，可以在语音和文本之间无缝地进行翻译和转录
- 超越条形图：使用桑基图、圆形打包和网络图的数据
研究人员强调，这种技术为大规模光电处理器加速从数据中心到分散式边缘设备的机器学习任务开辟了一条道路。换句话说，手机和其他小型设备可能会有能力运行目前只能在大型数据中心计算的程序。光计算的能源消耗明显低于电子计算。光能够在相对较小的空间中传递更多的信息。
Dirk Englund，麻省理工学院电气工程与计算机科学系副教授和这项计划的负责人，表示当今超级计算机的能力限制了 ChatGPT 的规模。由于经济因素的限制，实际上训练更大模型的可行性有限。他们所创造的技术可以使即将来临的几年内原本无法使用的机器学习模型得以利用。他进一步表示，如果 ChatGPT 的能力增加了100倍，他们仍在确定下一代 ChatGPT 的能力，但这种技术可以带来这类新技术的发现。
尽管光学神经网络具有许多优点，但目前的光学神经网络（ONNs）也存在一些挑战。例如，它们需要大量能量，因为它们在将基于电力的输入数据转化为光时效率低下。此外，这些操作所需的组件较大，占用了大量空间。尽管在线性计算（如加法）方面表现出色，但光电神经网络（ONNs）在乘法和条件语句等非线性计算方面存在局限性。
请查看 论文 和麻省理工学院博客。本研究的所有荣誉归功于该项目的研究人员。另外，请加入我们的 29k+ ML SubReddit、40k+ Facebook 社群、Discord 频道和 电子邮件通讯 ，我们在其中分享最新的人工智能研究新闻、有趣的人工智能项目等。
Hostinger AI 网站构建器：用户友好的拖放编辑器。立即尝试 (赞助)
本文来自麻省理工学院的AI研究，展示了基于光的机器学习系统如何产生更强大和高效的大型语言模型。
