AI时代重要时刻!2024诺贝尔物理学奖颁给两位“AI教父”Hinton和Hopfield

10dfa9ec8a13632744dabd7a6d531fe209fac7ab.jpeg@f_auto

2024年度的诺贝尔物理学奖正式揭晓。

北京时间10月8日下午,瑞典皇家科学院宣布,2024年诺贝尔物理学奖授予两位科学家:美国普林斯顿大学教授约翰·霍普菲尔德 (John J. Hopfield)和加拿大多伦多大学教授杰弗里·辛顿(Geoffrey E. Hinton),表彰他们通过人工神经网络实现机器学习的基础性发现和发明。

两位科学家将共享1100万瑞典克朗奖金(约合人民币744.46万元)。

这是AI学术领域的重要时刻。他们利用了物理学方法来寻找信息的特征,构建了为当今强大的机器学习奠定基础的方法,现年91岁的霍普菲尔德提出的“Hopfield神经网络”,以相当于物理学中自旋系统能量的方式进行描述;而76岁的辛顿更进一步,使用了统计物理学中的工具提出“玻尔兹曼机”,其研究几乎是从计算机视觉系统到大语言模型的基础,也促使全球迎来新一轮生成式 AI 革命。

eac4b74543a9822669ee85cc755e060f4b90eb1e.jpeg@f_auto

AI学术界狂欢!两位科学家的研究推动机器学习和AI技术实现爆发式发展

霍普菲尔德于1933 年 7 月 15 日出生于美国伊利诺伊州芝加哥,出生在一个物理氛围浓厚的家庭当中,父亲是波兰物理学家约翰·约瑟夫·霍普菲尔德,母亲是物理学家海伦·霍普菲尔德。海伦是霍普菲尔德的第二任妻子。他是霍普菲尔德的第六个孩子。

8644ebf81a4c510f812fed429c859a23d62aa5ee.jpeg@f_auto

1954年,霍普菲尔德获得斯沃斯莫尔学院文学士学位,并于1958年获得康奈尔大学物理学博士学位,师从知名物理学家阿尔伯特·奥弗豪泽 (Albert Overhauser ) 。霍普菲尔德在贝尔实验室的理论小组工作了两年,随后在加州大学伯克利分校(物理学)、普林斯顿大学(物理学)、加州理工学院(化学和生物学)任教,并再次回到普林斯顿大学,成为霍华德·A·普赖尔 (Howard A. Prior) 分子生物学名誉教授。

他早期聚焦于物理化学和凝聚态领域研究。后来在贝尔实验室工作期间,对分子生物学产生了浓厚兴趣。

1980年,霍普菲尔德离开了普林斯顿大学,他不愿再研究凝聚态物理研究,而是接受了加州理工学院(位于南加州帕萨迪纳)的化学和生物学教授职位。在那里,他可以免费使用计算机资源进行实验并发展他的神经网络思想。

但霍普菲尔德并没有放弃物理学的基础,1986年,霍普菲尔德与他人共同创立了加州理工学院计算与神经系统博士项目,并发现了联想记忆神经网络技术,通常称为“霍普菲尔德网络”。

d833c895d143ad4bcfd6679979dee5a1a60f06dd.jpeg@f_auto

事实上,许多人都体验过计算机如何翻译语言、解释图像甚至进行合理的对话。但可能不太为人所知的是,这种技术长期以来对研究非常重要,包括对大量数据的分类和分析。机器学习的发展在过去15到20年里呈爆炸式增长,它利用了一种称为人工神经网络的结构。如今,当我们谈论 AI 时,我们通常指的就是这种技术。

因此,1956年诞生的人工智能,其核心的机器学习技术方向就是“模仿大脑”。

尽管计算机无法思考,但机器现在可以模仿记忆和学习等功能。霍普菲尔德和辛顿就是利用物理学的基本概念和方法,开发了利用网络结构处理信息的技术。

不同于传统软件,在机器学习中,计算机通过示例进行学习,使其能够解决过于模糊和复杂而无法通过分步说明进行管理的问题。一个例子是解释图片以识别其中的物体,

而物理学激发了霍普菲尔德去理解由许多小组件共同作用的系统如何产生新的有趣现象。他特别受益于对磁性材料的了解,这些材料由于原子自旋而具有特殊的特性——这种特性使每个原子都成为一个微小的磁铁。相邻原子的自旋相互影响;这可以形成自旋方向相同的域。

霍普菲尔德团队利用描述自旋相互影响的材料发展物理学,创建一个具有节点和连接的模型网络。

简单来说,如果我们可以将神经网络节点想象成像素,霍普菲尔德网络利用物理学来描述材料由于原子自旋而产生的特性,从而将整个网络的描述方式相当于物理学中自旋系统的能量,并通过寻找节点之间连接的值来进行训练,以便保存的图像具有较低的能量。当霍普菲尔德网络被输入扭曲或不完整的图像时,它会有条不紊地存储、处理节点并更新它们的值,从而降低网络的能量。因此,网络逐步找到与输入的不完美图像最相似的保存图像。

霍普菲尔德构建的网络节点都直接连接在一起。每个节点都可以存储一个单独的值——在霍普菲尔德的第一篇论文中,这个值可以是 0 或 1,就像黑色 (0) 或白色 (1) 图片中的像素一样,从而推测出像素接近的颜色、数值等关键信息,使得人工智能能够准确预测能力。另外,霍普菲尔德网络还可用于重新创建包含噪声或已被部分删除的数据。

霍普菲尔德 1982 年发表的联想记忆网络文章当中提到,他使用了一个有 30 个节点的网络。如果所有节点都相互连接,则有 435 个连接。节点有自己的值,连接有不同的强度,总共有不到 500 个参数需要跟踪。他还尝试过一个有 100 个节点的网络,但考虑到他当时使用的计算机,这太复杂了。我们可以将其与当今的大型语言模型进行比较,这些模型被构建为可以包含超过一万亿(一百万亿)参数的网络。

eaf81a4c510fd9f93f08ccb6def16b242934a43a.jpeg@f_auto

当霍普菲尔德发表关于联想记忆的文章时,辛顿则正在美国匹兹堡的卡内基梅隆大学工作。他想知道,机器是否能学会以类似于人类的方式处理模式,找到自己的类别来对信息进行分类和解释。

基于霍普菲尔德网络,辛顿与他的同事利用统计物理学的思想对其进行扩展,构建出神经网络当中的核心技术——玻尔兹曼机(the Boltzmann machine)。

3801213fb80e7bec79f1a287d0f206369a506b9c.jpeg@f_auto

出生在英国的辛顿,之前曾在英格兰和苏格兰学习过实验心理学和人工智能,于1970年获得剑桥大学实验心理学学士学位;1976年受聘为苏塞克斯大学认知科学研究项目研究员;1978年获得爱丁堡大学人工智能学博士学位。1978年至1980年担任加州大学圣地亚哥分校认知科学系访问学者;1980年至1982年担任英国剑桥MRC应用心理学部科学管理人员;1982年至1987年历任卡内基梅隆大学计算机科学系助理教授、副教授;1987年受聘为多伦多大学计算机科学系教授;1998年至2001年担任伦敦大学学院盖茨比计算神经科学部创始主任;2001年至2014年担任多伦多大学计算机科学系教授;2016年至2023年担任谷歌副总裁兼工程研究员;2023年从谷歌辞职。

基于霍普菲尔德网络,20世纪90年代,辛顿与他的同事特伦斯·塞诺夫斯基利用统计物理学的工具,创建了一个采用不同方法的新网络:玻尔兹曼机。它可以学习识别给定类型数据中的特征元素,通过输入机器运行时很可能出现的示例来训练机器。玻尔兹曼机可用于对图像进行分类,或创建训练模式类型的新示例。

同时,作为学术开拓者,2006年,辛顿与同事 Simon Osindero、Yee Whye Teh 和 Ruslan Salakhutdinov 开发了一种使用一系列逐层叠加的玻尔兹曼机对网络进行预训练的方法。这种预训练为网络中的连接提供了更好的起点,从而优化了其训练以识别图片中的元素。

多份研究成果显示,辛顿帮助机器学习和 AI 技术开启了新的发展时代。

目前已经有许多研究人员都围绕机器学习开发和应用,如今风靡全球的人工智能聊天机器人ChatGPT,也都基于辛顿和霍普菲尔德的研究成果。凭借自20世纪80年代以来的工作,两位科学家为机器学习和 AI 革命奠定了重要基础。

两位大家也因相关研究获得了诸多荣誉。

其中,霍普菲尔德于1973年当选为美国国家科学院院士,1975年当选为美国艺术与科学学院院士, 1988年当选为美国哲学学会院士。1985年,霍普菲尔德获得美国成就学院金盘奖。2005年,他获得了阿尔伯特·爱因斯坦世界科学奖。2006年,他担任美国物理学会主席。霍普菲尔德与迪帕克·达尔共同获得了2022年统计物理学玻尔兹曼奖章。

辛顿则是反向传播算法和对比散度算法(Contrastive Divergence)的发明人之一,也是深度学习的积极推动者,被誉为“深度学习教父”。辛顿因在深度学习方面的贡献与约书亚·本希奥(Yoshua Bengio)和杨立昆(Yann Le Cun)一同被授予了2018年的图灵奖。同时,目前他还是加拿大皇家学会院士,美国国家科学院外籍院士,多伦多大学名誉教授。

诺贝尔物理学奖委员会主席 Ellen Moons 表示,“两位获奖者的工作已经产生了巨大的效益。在物理学领域,我们将人工神经网络应用于广泛的领域,例如开发具有特定属性的新材料。”

实际上,物理学为机器学习的发展贡献了工具,同时,物理学作为一个研究领域也受益于人工神经网络。近年来,神经网络技术也开始用于计算和预测分子和材料的特性,例如计算决定其功能的蛋白质分子结构,或确定哪种新材料可能具有最佳特性,以用于更高效的太阳能电池,当然也包括大模型领域。

不过,作为“AI教父”,2023年5月,辛顿表示其后悔研发人工智能,担心人工智能会为世界带来严重危机。

实际共224人获诺贝尔物理学奖,最年轻只有25岁

据悉,诺贝尔物理学奖是诺贝尔奖的六个奖项之一,由瑞典皇家科学院每年颁发给在物理科学领域做出杰出贡献的科学家。

据瑞典著名化学家、企业家、发明家诺贝尔(Alfred Nobel)的遗愿,该奖由诺贝尔基金会管理,由瑞典皇家科学院选出5名成员组成一个委员会来评选出获奖者。诺贝尔物理学奖于1901年首次颁发给德国的威廉·伦琴。

诺奖官网显示,从1901年至2023年,诺贝尔物理学奖共颁发了117次,没有颁发的六年分别是1916、1931、1934、1940、1941和1942年。共225人次获奖,实际获奖个人为224人,因为美国物理学家John Bardeen于1956年和1972年两次获奖。

117次颁奖中,47次为单独获奖者,32次为2人共享,38次为3人共享。

其中,最年轻的获奖者是英国物理学家Lawrence Bragg,1915年因“用X射线对晶体结构的分析所作的贡献”与父亲一起获奖,时年25岁;最年长的获奖者是美国物理学家Arthur Ashkin,2018年因“在激光物理学领域所作出的开创性发明”获奖,时年96岁。

224位诺贝尔物理学奖得主中,有5位女性。分别是1903年的居里夫人(居里夫人另外还获得1911年的化学奖)、1963年的Maria Goeppert-Mayer、2018年的Donna Strickland,2020年的Andrea Ghez,以及2023年的法国/瑞典科学家Anne L’Huillier。

此前董宇辉在直播讲解诺贝尔奖获得者居里夫人时,出现多个事实性错误。他称居里夫人发现了铀,发明了X光机,并获得诺贝尔文学奖等。事实上,居里夫人曾两次获得诺贝尔奖,但都不是诺贝尔文学奖。1903年,居里夫妇和贝克勒尔由于对放射性的研究而共同获得诺贝尔物理学奖。1911年,居里夫人因发现元素钋和镭获得诺贝尔化学奖。

060828381f30e924db605723b7d4d1081f95f7cc.jpeg@f_auto

过去10年诺贝尔物理学奖得主名单:

2023年——美国科学家Pierre Agostini、德国科学家Ferenc Krausz和法国/瑞典科学家Anne L’Huillier,以表彰他们“开发了产生阿秒光脉冲的实验方法,用于研究物质中的电子动力学”。

2022年——法美奥三位科学家Alain Aspect、John F. Clauser和Anton Zeilinger获奖,获奖理由是“进行了纠缠光子的实验,确立了贝尔不等式的违反,并开创了量子信息科学”。

2021年——美德意三位科学家因“对人们理解复杂物理系统的开创性贡献”而获奖。美籍日裔科学家Syukuro Manabe、德国科学家Klaus Hasselmann的获奖理由是“物理模拟地球气候,量化变化和可靠地预测全球变暖”;意大利科学家Giorgio Parisi的获奖理由是“发现从原子到行星尺度的物理系统的无序和波动的相互作用”。

2020年——英国科学家Roger Penrose获奖,获奖理由是“发现黑洞形成是广义相对论的一个有力预测”;另外两位获奖者是德国和美国科学家Reinhard Genzel、Andrea Ghez,获奖理由是“在银河系中心发现了一个超大质量的致密天体”。

2019年——美国科学家James Peebles获奖,获奖理由是“在物理宇宙学的理论发现”;另外两位获奖者是瑞士科学家Michel Mayor和Didier Queloz,获奖理由是“发现了一颗围绕类太阳恒星运行的系外行星”。

2018年——美法加三位科学家Arthur Ashkin、Gerard Mourou和Donna Strickland获奖,获奖理由是“在激光物理学领域所作出的开创性发明”。

2017年——三位美国科学家Rainer Weiss、Barry C. Barish和Kip S. Thorne获奖,获奖理由是“对LIGO探测器和引力波观测的决定性贡献”。

2016年——英美三位科学家David J. Thouless、F. Duncan M. Haldane和J. Michael Kosterlitz获奖,获奖理由是“理论发现拓扑相变和拓扑相物质”。

2015年——日本科学家Takaaki Kajita和加拿大科学家Arthur B. McDonald获奖,获奖理由是“发现了中微子振荡,表明中微子具有质量”。

2014年——日本科学家赤崎勇、天野浩和美籍日裔科学家中村修二,以表彰他们在蓝色发光二极管(LED)方面的发现。

© 版权声明
THE END
喜欢就支持一下吧
点赞15 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容