在机器学习中,异或(XOR)这样的非线性问题一直需要多层神经网络来解决。科学家一直以为,即使在人类大脑中,XOR运算也需要多层神经元网络才能计算。
但是大脑远比人类想象得“高能”。
最新研究发现:人类大脑只需要单个神经元就可以进行XOR运算。这项研究登上了最新一期的Science杂志。
来自德国洪堡大学的学者们在论文中表示:我们的发现,对构成细胞功能算法的生理基础提供了洞见,这些基础模块最终引发了大脑皮层网络的行为。
一直热爱给AI泼冷水的马库斯也非常关注,甚至觉得这个研究可能重塑对神经网络的看法。
在推特上,这一研究已经收获700多次转发,近2000赞。在reddit谈论上,也已经引发了100多条讨论。
XOR运算与AI的第一次寒冬
XOR运算是计算机中最常见的一种逻辑运算。异或的意思即:输入相同,结果为0;输入不同,结果为1。
这个看似简单的运算,其实需要的步骤却不简单。就是这个小小的运算问题,却导致了上世纪70年代的第二次“AI寒冬”。
在计算机领域,异或从来就不是一个晶体管或线性模型就能解决的。
从硬件角度来看,一个XOR需要6个MOSFET晶体管才能实现。
从软件上来看,一个XOT需要至少两层的神经网络才能输出正确的结果。
最初的人工神经网络仅有一层,而一层网络是无法解决异或运算的。你无法只画一条直线就把正方形的两组对角顶点分开。
说白了,属于单层的神经模型“感知器”只能解决线性问题,而XOR则是非线性问题,需要多层神经网络来解决。
1969年,“符号主义”的代表人物明斯基在自己的新书《感知器》中diss“连接主义”:感知器连基本的异或都做不到。他的发难成为了那次AI寒冬的导火索。
直到后来多层神经网络的出现,才解决了这一问题,AI界才迎来了连接主义的第二次兴盛,直至今日。
颠覆认知:单个神经元如何实现XOR运算
不仅单层人工神经网络做不到,过去科学家们认为,连人类的单个神经元也做不到。常常被人类拿来做实验的小白鼠就不行。
而最新的研究发现,人类的神经元比其他生物更高级些,只要单个神经元就能做异或运算。这或许也是人类能拥有高级智慧的原因。
人类的大脑就是一个碳基计算机,处理各种信息和计算,最外面的皮层是其中的CPU。最高级,也是大脑演化中出现最晚的部分。在皮层中,分布着一个个神经元。
树突作为单个神经元的一部分,树突的电学特性决定了神经元的输入输出,是大脑各种复杂功能的基础。然而,过去对树突的了解几乎都是从小白鼠身上得来的。
同为哺乳动物,小鼠的皮层结构和人类差不多。小鼠大脑中,2层和3层不可分割,人类大脑中,可以进行分割,一般研究中,2层和3层就算在一起,作为2/3层。
其中2/3层在人类的进化过程中,会不均匀地增厚。这让科学家对这一层产生了独特兴趣,把癫痫和肿瘤病人手术切除的脑组织中的这一部分做成切片,拿来研究。
2/3层有大量结构精密的树突森林,树突上发生着大量的电输入。这一层也有大量的锥体神经元。
科学家发现,在锥体神经元上,有一种钙介导的树突状动作电位dCaAPs。这种电位以树突为单位,钙为介质。和常见的只有“全“或”无“两种状态的动作电位bPAs相比,呈现的状态更复杂。
对于普通水平的刺激,振幅最大
波形更宽:4.4±1.4 ms,范围是2.6~8.0 ms;
上升缓慢且在开始时没有扭结;
dCaAPs的振幅及其上冲程与细胞体的距离无关。
对于较强的刺激,dCaAPs的振幅会衰减。
当用超过阈值的电流刺激细胞体时,普通APs的输出值会随之增强,而dCaAPs的强度反而会减弱。
这样,当输入强度高于最优强度时,dCaAP虽然被激活,但是振幅会被抑制,运用这一性质,它们可以进行XOR运算。
运算发生的位置也有特殊性,XOR运算发生在dCaAPs的树突顶端;而线性的AND/OR运算发生在细胞体中,在基底树突上。
讨论:生物神经元与人工神经网络
这一研究结果,首先打破了大家对人类大脑的既有认知。
Robust.AI创始人马库斯认为,这个发现的意义重大,我们现在对大脑的认知只是冰山一角,单个神经元或许能做很多的事情。而我们此前没有发现。
他认为这个研究可能重塑我们对神经网络的看法。
在推特上,研究团队同实验室的科学家Jaan Aru发出的推文,获得了700多转发、近2000的喜欢。而在Reddit论坛上,这个主题也被顶了近700次。
在Reddit上,网友们也进行了大量的讨论,我们从中摘录了一些。
网友HackZisBotez:
这篇论文很棒。这是科学研究第一次展示出,人类神经元与啮齿类动物神经元,有本质的不同,不仅是算力更强大,而且完全不同的计算方式。
人类神经元执行XOR的方式,是一种此前未知的、针对输入的局部响应来实现。这种响应的阈值以下范围很窄,阈值区间范围非常大,而阈值以上的范围同样很窄。我们在其他动物身上,从来没有看到过类似的情况。
网友Nivter:
“我们的发现,对构成细胞功能算法的生理基础提供了洞见,这些算法模块最终引发了大脑皮层网络的行为。”
作者论文中的这些话,我认为暗示了人工神经元,只是实现了真实神经元功能中的一小部分功能。我们可以从真实神经元中获得启发,两者完全不能相提并论。
网友ka9dgx:
我认为这暗示着,复制人类大脑所需要的神经元数量,可能需要重新估算。
我们对大脑还没有足够的了解。人脑最小的功能单元可能是微柱体。微柱体中有大约100个神经元,分布在一个6层结构中。不过,哺乳动物的新皮质结构,并不是智力的必要条件。乌鸦是最聪明的动物之一,但并没有新皮质结构。
网友Optrode:
神经学家在此。对于想要了解生物神经元和人工神经网络之间差异的人,我提供三个现成的信息。
1、生物神经元不能简化为“激活或抑制”。激活或抑制的突触有非常多的类型,它们的行为并不完全相同。比方,允许钠进入细胞(直接激活),允许钾离开细胞(直接抑制),打开氯离子通道(通常反直接激活或抑制),允许钙进入细胞(可以触发基因表达的改变)……
2、一个神经元的输入,永远不会线性求和。树突的物理性质,控制了突触信号可以传播多远、向哪个方向传播。一个树状分支可以执行完全独立于另一个树状分支中事件的局部计算。
3、神经元的计算功能高度依赖于其时间动态。神经元的兴奋性与其近期的活动有关,没有时间动态,几乎无法完成建模。许多神经网络回路收到循环输入的强烈调制,这意味着给定一组神经元的输出,实际上无法以前馈方式进行计算,即便对于静态输入也是如此。
当然,除了讨论和赞许,也会有不同的声音。
神经网络、机器学习研究者Subutai Ahmad就在推特上提问:
非常棒的研究。但我有一点困惑之处:2003年Yiota给出的模型,已经解决了XOR问题。
对此Jaan Aru回答说:
不过这次是真东西,真的神经元,真的电流和真的尖峰。无意冒犯所有出色的计算机研究者。但我想大多数人都同意,真实的结果比仅有一个模型更出色。
上面提及的计算神经科学家Yiota Poirazi,也在推特上作出回应。
她说这次的新结果,是在自己团队以前的结果上得出的,但研究方向仍然非常新颖。不过,她也指出这一方向的研究,还有进一步深入的空间。