切换到宽版
  • 217阅读
  • 1回复

[智能应用]KAN干翻MLP,开创神经网络新范式!一个数十年前数学定理,竟被MIT华人学者复活了[8P] [复制链接]

上一主题 下一主题
离线huozm32831

UID: 329002

精华: 1097
职务: 超级斑竹
级别: 玉清道君
 

发帖
106178
金币
2492
道行
19523
原创
29307
奖券
17275
斑龄
190
道券
10126
获奖
0
座驾
 设备
EOS—7D
 摄影级
专家级认证
在线时间: 20023(小时)
注册时间: 2007-11-29
最后登录: 2024-11-24


【新智元导读】KAN的诞生,开启了机器学习的新纪元!而这背后,竟是MIT华人科学家最先提出的实践想法。从KAN到KAN 2.0,这个替代MLP全新架构正在打开神经网络的黑盒,为下一步科学发现打开速通之门。
KAN的横空出世,彻底改变了神经网络研究范式!
神经网络是目前AI领域最强大的工具。当我们将其扩展到更大的数据集时,没有什么能够与之竞争。
圆周理论物理研究所研究员Sebastian Wetzel,对神经网络给予了高度的评价。
然而,万事万物并非「绝对存在」,神经网络一直有一个劣势。
其中一个基本组件——多层感知器(MLP),尽管立了大功,但这些建立在MLP之上的神经网络,却成为了「黑盒」。
因为,人们根本无法解释,其中运作的原理。

为此,AI界的研究人员们一直在想,是否存在不同类型的神经网络,能够以更透明的方式,同样输出可靠的结果?
是的,的确存在。
2024年4月,MIT、加州理工等机构研究人员联手提出,新一代神经网络架构——Kolmogorov-Arnold network(KAN)。
它的出现,解决了以上的「黑盒」问题。

论文地址:https://arxiv.org/pdf/2404.19756
比起MLP,KAN架构更加透明,而且几乎可以完成普通神经网络,在处理某类问题时的所有工作。
值得一提的是,它的诞生源于上个世纪中期一个数学思想。

数学家Andrey Kolmogorov和Vladimir Arnold
这个已经埋了30多年的数学原理,如今在DL时代被这位华人科学家和团队重新发现,再次发光发亮。

虽然,这项创新仅仅诞生了5个月的时间,但KAN已经在研究和编码社区,掀起了巨浪。
约翰霍普金斯大学计算机教授Alan Yuille赞扬道,KAN更易于解释,可以从数据中提取科学规则,因此在科学领域中有着极大的应用」。
让不可能,成为可能
典型的神经网络工作原理是这样的:
一层层人工神经元/节点,通过人工突触/边,进行连接。信息经过每一层,经过处理后再传输到下一层,直到最终将其输出。
对边进行加权,权重较大的边,比其他边有更大的影响。
在所谓的训练期间,这些权重会不断调整,最终使得神经网络输出越来越接近正确答案。

神经网络的一个常见的目标是,找到一种数学函数、曲线,以便最好地连接某些数据点。
它们越接近这个函数,预测的结果就越准确。
假设神经网络模拟了物理过程,理想情况下,输出函数将代表描述该物理过程的方程,相当于物理定律。
对于MLP来说,会有一个数学定理,告诉你神经网络能多接近最佳可能函数。
这个定理表明,MLP无法完美地表示这个函数。
不过,在恰当的情况下,KAN却可以做到。

KAN以一种不同于MLP的方式,进行函数拟合,将神经网络输出的点连接起来。
它不依赖于带有数值权重的边,而是使用函数。
同时,KAN的边函数是非线性和可学习的,这使得它们比MLP更灵活、敏感。
然而,在过去的35年里,KAN被认为在实际应用中,切不可行。

1989年,由MIT物理学家转计算机神经科学家Tomaso Poggio,共同撰写的一篇论文中明确指出:
KAN核心的数学思想,在学习神经网络的背景下是无关紧要的。
Poggio的一个担忧,可以追溯到KAN核心的数学概念。

论文地址:http://cbcl.mit.edu/people/poggio/journals/girosi-poggio-NeuralComputation-1989.pdf
1957年,数学家Andrey Kolmogorov和Vladimir Arnold在各自但相互补充的论文中证明——如果你有一个使用多个变量的单一数学函数,你可以把它转换成多个函数的组合,每个函数都有一个变量。

然而,这里有个一个重要的问题。
这个定理产生的单个变量函数,可能是「不平滑的」,意味着它们可能产生尖锐的边缘,就像V字的顶点。
这对于任何试图使用这个定理,重建多变量函数的神经网络来说,都是一个问题所在。
因为这些更简单的单变量部分,需要是平滑的,这样它们才能在训练过程中,学会正确地调增匹配目标值。
因此,KAN的前景一直以来黯淡无光。
MIT华人科学家,重新发现KAN
直到去年1月,MIT物理学研究生Ziming Liu,决定重新探讨这个话题。
他和导师Max Tegmark,一直致力于让神经网络在科学应用中,更加容易被人理解,能够让人们窥探到黑匣子的内部。
然而,这件事一直迟迟未取得进展。

可以说,在这种「走投无路」的情况下,Liu决定在KAN上孤勇一试。
导师却在这时,泼了一盆冷水,因为他对Poggio论文观点太过熟悉,并坚持认为这一努力会是一个死胡同。
不过,Ziming Liu却没有被吓到,他不想在没有先试一下的情况下,放弃这个想法。
随后,Tegmark也慢慢改变了自己的想法。
他们突然认识到,即使由该定理产生的单值函数,是不平滑的,但神经网络仍可以用平滑的函数逼近数值。
Liu似乎有一种直觉,认定了KAN便是那个拯救者。

因为自Poggio发表论文,已经过了35年,当下的软件和硬件取得了巨大的进步。
在2024年,就计算来讲,让许多事情成为可能。
大约肝了一周左右的时间,Liu深入研究了这一想法。在此期间,他开发了一些原型KAN系统,所有系统都有两层。
因为Kolmogorov-Arnold定理本质上为这种结构提供了蓝图。这一定理,明确地将多变量函数分解为,不同的内部函数和外部函数集。
这样的排列,使其本身就具备内层和外层神经元的两层架构。

但令Liu沮丧的是,所设计的原型KAN并没有在科学相关任务上,表现地更好。
导师Tegmark随后提出了一个关键的建议:为什么不尝试两层以上的KAN架构,或许能够处理更加复杂的任务?
一语点醒梦中人。
这个开创性的想法,便成为他们突破的关键点。
这个羽翼未丰的原型架构,为他们带来了希望。很快,他们便联系了MIT、加州理工、东北大学的同事,希望团队能有数学家,并计划让KAN分析的领域的专家。
实践证明,在4月份论文中,小组团证明了三层KAN,确实是可行的。
他们给出了一个示例,三层KAN可以准确地表示一个函数,而两层KAN却不能。

不过,研究团队并没有止步于此。自那以后,他们在多达六层的KAN上进行了实验,每一层,神经网络都能与更复杂的输出函数,实现对准。
论文合著作者之一 Yixuan Wang表示,「我们发现,本质上,可以随心所欲堆叠任意多的层」。
发现数学定理碾压DeepMind
更令人震惊的是,研究者在两个现实的世界问题中,对KAN完成了验证。
第一个,是数学一个分支中的「纽结理论」。
2021年,DeepMind团队曾宣布,他们已经搭建了一个MLP,再获得足够纽结的其他属性后,可以预测出给定纽结的特定拓扑属性。
三年后,全新的KAN再次实现了这一壮举。

而且,它更进一步地呈现了,预测的属性如何与其他属性相关联。
论文一作Liu说,「这是MLP根本做不到的」。

第二个问题是,设计凝聚态物理中的一种现象,称为Anderson局域化。
其目的是,预测特定相变将发生的边界,然后确定描述该过程的数学公式。同样,也只有KAN做到了在这一点。

Tegmark表示,「但与其他形式的神经网络相比,KAN的最大优势在于其可解释性,这也是KAN近期发展的主要动力」。
在以上的两个例子中,KAN不仅给出了答案,还提供了解释。
他还问道,可解释性意味着什么?
「如果你给我一些数据,我会给你一个可以写在T恤上的公式」。
终极方程式?
KAN这篇论文的出世,在整个AI圈引起了轰动。
AI大佬们纷纷给予了高度的评价,有人甚至直呼,机器学习的新纪元开始了!

目前,这篇论文在短短三个月的时间里,被引次数近100次。
很快,其他研究人员亲自入局,开始研究自己的KAN。
6月,清华大学等团队的研究人员发表了一篇论文称,他们的 Kolmogorov-Arnold-informed neural network(KINN),在求解偏微方程(PDE)方面,明显优于MLP。
对于研究人员来说,这可不是一件小事,因为PED在科学中的应用无处不在。

论文地址:https://arxiv.org/pdf/2406.11045
紧接着,7月,来自新加坡国立大学的研究人员们,对KAN和MLP架构做了一个全面的分析。
他们得出结论,在可解释性的相关任务中,KAN的表现优于MLP,同时,他们还发现MLP在计算机视觉和音频处理方面做的更好。
而且,这两个网络架构在NLP,以及其他ML任务上,性能大致相当。
这一结果在人意料之中,因为KAN团队的重点一直是——科学相关的任务,而且,在这些任务中,可解释性是首要的。
论文地址:https://arxiv.org/pdf/2407.16674
与此同时,为了让KAN更加实用、更容易使用。
8月,KAN原班人马团队再次迭代了架构,发表了一篇名为「KAN 2.0」新论文。

论文地址:https://arxiv.org/pdf/2408.10205
他们将其描述为,它更像是一本用户手册,而非一篇传统的论文。

论文合著者认为,KAN不仅仅是一种达到目的的手段,更是一种全新的科学研究方法。
长期以来,「应用驱动的科学」在机器学习领域占据主导地位,KAN的诞生促进了所谓的「好奇心驱动的科学」的发展。
比如,在观察天体运动时,应用驱动型研究人员,专注于预测它们的未来状态,而好奇心驱动型研究人员,则希望揭示运行背后的物理原理。

Liu希望,通过KAN,研究人员可以从中获得更多,而不仅仅是在其他令人生畏的计算问题上寻求帮助。
相反,他们可能会把重点放在,仅仅是为了理解,而获得理解之上。
山庄提示: 道行不够,道券不够?---☆点此充值☆
 
  




    
在线jjybzxw

UID: 551814


发帖
103500
金币
1100382
道行
1951
原创
2169
奖券
2128
斑龄
28
道券
569
获奖
0
座驾
设备
摄影级
在线时间: 24901(小时)
注册时间: 2008-10-01
最后登录: 2024-11-25
只看该作者 沙发  发表于: 09-15
  这篇文章介绍了KAN(Kolmogorov-Arnold Network)神经网络架构的诞生和它的潜在影响。KAN架构是由MIT、加州理工等机构的研究人员于2024年4月提出的,它被认为是一种更加透明、易于解释的神经网络架构,有望改变神经网络研究范式。KAN架构的核心在于利用了Kolmogorov和Arnold在20世纪中期提出的数学原理,通过将多变量函数转换为多个单变量函数的组合,来提高神经网络的可解释性。

  KAN架构的一个关键优势是其可解释性。这种架构不仅能够给出预测结果,还能提供解释,这在科学领域尤为重要。例如,KAN能够表示纽结理论和Anderson局域化等复杂现象,并且给出了相应的数学公式,这是传统的MLP架构难以做到的。

  此外,KAN 2.0的提出,进一步增强了这种架构的实用性。它更像是用户手册,指导研究人员如何使用KAN进行科学研究。KAN的诞生被认为是机器学习的新纪元,有望推动科学研究的进步。

  总的来说,KAN架构的出现,标志着神经网络研究的新方向,它不仅提高了神经网络的可解释性,还为科学研究提供了新的方法和工具。

如何不发帖就快速得到金币道行
 
快速回复
限120 字节
认真回复加分,灌水扣分~
 
上一个 下一个