秀丽隐杆线虫的 Voronoi 艺术图案——J. Liu
最新的流行词是人工智能(AI)。每个月Open AI都会带来新的惊喜更新,但当前的人工智能系统也有其自身的局限性。看看任何动物,例如线虫(C-elegans),它仅1毫米长,是一条非常简单的蠕虫,仅有302个神经元,却具备在世界中做出决定的能力。我们的现有系统需要数十亿节点、参数和数据才能协同工作。如果我告诉你,有一种新的AI模型,它在效率上与生物模型相当。液态神经网络(LNNs),它为AI提供了一个新的视角,借鉴了自然界中复杂的运作机理。
来自自然灵感的设计蓝图:向自然智慧学习在LNNs的核心处,存在着思维方式的根本转变——转向了新的思考方式,不再局限于传统的算法式AI方法。麻省理工的一些研究人员研究了生物系统的高效决策过程,从灵活的神经元这一智能源头获取灵感。
正如我们大脑中的复杂神经网络不断地适应和进化,以动态和灵活的方式处理信息,LNN模仿线虫相互连接的电生理连接或脉冲,来预测网络随时间变化的行为,表达系统在任何给定时刻的状态。
通过模仿生物神经网络的适应性和响应性,LNNs 提供了一个独特的优势:能够顺序处理数据流并在实时中实时调整输入和权重。这种能力在传统神经网络难以应对的场景中尤其宝贵,例如处理股市数据或自动驾驶汽车中的长期依赖性,以及应对快速变化的环境。
从静态的人工智能到动态的人工智能:转变范式 人工智能领域:从静态到动态的转变范式传统的神经网络虽然本身非常出色,但在训练完成后本质上是静态和僵化的。它们运行于固定的权重和激活函数上,这限制了它们适应新场景或变化中的数据分布的能力。相比之下,LNNs(即具有动态特性的神经网络)具备可调整的权重和激活函数,这些权重和激活函数会根据输入数据持续调整,可以像生物神经网络一样实时调整,从而不断学习和适应新情况,就像它们的生物系统一样。
因果关系和解释力的重要性LNNs(长短期记忆网络)最吸引人的一个方面是它们有潜力解决长期存在的可解释性挑战。传统的神经网络(RNNs),尽管在许多任务中高度准确,但常常作为“黑盒”运作,这使得理解他们决策背后的逻辑变得困难。这种不透明性引起了一些担忧,尤其是在需要透明度和可问责性的高风险应用领域,如医疗、金融和法律领域,甚至在机器人的决策中。
另一方面,LNNs 提供了应对这一难题的有希望的解决方案。它们的架构以及明确纳入因果结构,这些网络能够提供对其决策过程的见解。这种可解释性是通过采用动态因果建模等领域的原理实现的,这些原理旨在捕捉系统中变量之间的因果关系。通过利用这些因果建模技术,LNNs 有可能解释其输出的原因,使人类能够理解决策背后的推理,并识别潜在的偏见或错误。这种透明性不仅对建立人们对AI系统的信任非常重要,而且对于促进人类与AI系统的合作也非常重要,在这些合作中,人们可以更好地解释和验证这些系统的决策。
LNNs的另一个吸引人之处在于它们在效率和紧凑性上的潜力。传统的神经网络通常依赖于数百万或数十亿的参数,这需要大量的计算能力和能源来进行训练和推理。相比之下,LNNs展示了用显著更少的节点或参数也能达到甚至更好的性能的能力。研究者展示了RNNs仅用13个神经元就达到了数十亿参数的效果。
这种效率源于生物启发的方法,其中每个节点或人工神经元被设计为捕捉更多信息和细微差别。通过模仿生物神经系统的丰富动态性,神经网络可以在紧凑的架构中有效地编码复杂的模式和关系。
这种效率带来实实在在的好处。LNNs 可以帮助开发更节能的 AI 系统,减少运营成本和对环境的影响。此外,它们的小巧使它们非常适合部署在资源有限的设备上,比如边缘计算平台和嵌入式系统,这为物联网 (IoT) 和边缘 AI 等领域带来了新的机遇。
LNNs讲座
解锁新领域:应用和机会在金融市场上,LNNs 可以获得竞争优势,通过准确地建模复杂的时序数据,实现实时交易策略,提供风险管理解决方案。此外,在自然语言处理方面,LNNs 可以通过捕捉言语和文本中的细微差异和时间模式和序列,开启理解和生成类似人类语言的新可能。
除此之外,LNNs 在处理不规则采样数据、超出训练分布的推断以及捕捉长期依赖关系等方面展现出潜力,这些方面传统神经网络一直表现不佳。通过从生物界汲取灵感,LNNs 在 AI 领域开辟了新的研究领域,带来了新的视角和巨大的未开发潜力。
前方的道路:难题与机会尽管LNNs的前景不容忽视,但它们走向广泛应用的道路充满挑战。一个主要的挑战在于这些生物启发系统的固有复杂性。研究人员需要应对微分方程、动态系统和因果模型的复杂性,这往往需要跨学科的合作以及对神经生物学的深入了解。
此外,LNN的训练和优化也带来了独特的难题,传统的训练技术可能不适用。研究人员必须探索新的训练方法,以有效地利用这些动态系统,同时解决诸如梯度消失或梯度爆炸之类的问题。
尽管存在这些挑战,LNN的研究与开发仍然非常重要。随着世界越来越需要可解释、适应性更强且能够处理复杂的时间序列数据的AI系统,LNN开始被视为一个有前景的解决方案。被认为是很有潜力的解决方案。
最终,液态神经网络在人工智能领域代表着一种变革性的创新,从生物神经系统的复杂运作方式中汲取灵感。结合了深度学习的力量和生物启发模型的适应性和可解释性,LNN 为 AI 提供了全新的视角,有望在各领域开启新前沿。
参考一下
[2] https://spectrum.ieee.org/液态神经网络
这篇文章介绍了[3] 液体神经网络(LNNS): https://medium.com/@hession520/liquid-neural-nets-lnns-32ce1bfb045a
[4] https://arxiv.org/abs/2006.04439 (访问链接)
[5]https://news.mit.edu/2021/machine-learning-adapts-0128
[6] 了解更多关于“液态神经网络”的定义:https://techcrunch.com/2023/08/17/what-is-a-liquid-neural-network-really/