洛桑联邦理工学院的研究人员开发了一种算法,可以像数字神经网络一样准确地训练模拟神经网络,从而能够开发出更高效的替代方案来替代耗电的深度学习硬件。
由于能够通过算法“学习”而不是传统编程来处理大量数据,像 Chat-GPT 这样的深度神经网络通常看起来潜力无限。但随着这些系统的范围和影响不断扩大,它们的规模、复杂性和能源消耗也随之增加——后者的重要性足以引起人们对全球碳排放贡献的担忧。
虽然我们经常认为技术进步是从模拟向数字的转变,但研究人员现在正在数字深度神经网络的物理替代方案中寻找这个问题的答案。其中一位研究人员是洛桑联邦理工学院工程学院波浪工程实验室的 Romain Fleury。
在《科学》杂志上发表的一篇论文中,他和他的同事描述了一种用于训练物理系统的算法,与其他方法相比,该算法显示出更高的速度、更强的鲁棒性和更低的功耗。
“我们成功地在三种基于波的物理系统上测试了我们的训练算法,这些系统使用声波、光波和微波来携带信息,而不是电子。但我们的多功能方法可以用来训练任何物理系统,”第一作者和LWE 研究员 Ali Momeni。
“在生物学上更合理”的方法
神经网络训练是指帮助系统学习为图像或语音识别等任务生成最佳参数值。传统上,它涉及两个步骤:前向传递,其中数据通过网络发送,并根据输出计算误差函数,以及后向传递(也称为反向传播,或 BP),其中误差函数的梯度与计算所有网络参数。
经过重复迭代,系统根据这两个计算进行自我更新,以返回越来越准确的值。问题?除了非常耗能之外,BP 还不太适合物理系统。事实上,训练物理系统通常需要使用数字孪生来进行 BP 步骤,这种做法效率低下,并且存在现实与模拟不匹配的风险。