本周五,AI 社区见证了又一项突破:一个完全自动化机器学习流程的 AI 工程师,能轻松获得 Kaggle 大师水平,在参与的 50 个 Kaggle 竞赛上获得了其中 26% 的奖牌,成绩远远优于之前 Open AI 的强化学习加强版的 o1 模型。
创造这项纪录的 AI,来自一家名为 NEO 的创业公司。
据该公司介绍,NEO 可以自动化整个机器学习的工作流程,为开发人员节省数千小时的繁重工作。它是一个多智能体(AI Agent)系统,可用并行的方式解决单一问题。
目前这一 AI 系统还在内测申请阶段,除了视频 Demo 内容,我们还能找到官方的简单介绍:
机器学习中的挑战
首先是 NEO 希望解决的问题。
机器学习的「从数据中学习」这一看似简单的前提掩盖了开发人员每天面临挑战的复杂性。虽然传统编程遵循明确的规则和逻辑路径,但机器学习引入了一系列新的不确定性,即使是经验丰富的开发人员也难以应对。从本质上讲,机器学习不仅需要代码开发的专业知识,还需要对统计学、线性代数和微积分有深入的理解,这是许多软件工程师自大学毕业后就不再遇到的数学问题。
开发人员面临的第一个障碍是数据质量和准备。原始数据很少以干净、直接可用的格式出现。相反,开发人员必须花费大量时间处理缺失值、异常值和不一致的格式,同时做出有关数据清理的关键决策,这可能会显著影响模型性能。
模型的选择带来了另一层复杂性。在解决某个问题时通常会有几十种算法可用,每种算法都有自己的优势和局限性,选择正确的方法成为一个关键的决策点。仅神经网络就提供了无数的架构可能性,从简单的前馈网络到 Transformer,每个模型都需要仔细调整超参数。
计算资源增加了另一个复杂性维度。虽然小型模型可以在笔记本电脑上运行,但很多机器学习开发通常需要云基础设施、分布式计算和 GPU 优化。开发人员必须熟练掌握 Docker、Kubernetes 和各种云平台等工具。
部署本身也带来了一系列挑战。在开发过程中表现优秀的模型可能会随着数据漂移而退化,需要持续监控和重新训练 pipeline。开发人员不仅必须跟踪代码更改,还必须跟踪数据版本、模型参数和训练配置。
这可能意味着开发人员要在每个步骤中投入数周或数月的工时,才能构建一个能够有效解决问题的 AI 模型。
NEO—— 完全自主的机器学习工程师
NEO 的出现大幅简化了这整套机器学习工作流程,使工程师能够以 10 倍的速度构建和部署 pipeline。它的开发充分考虑了机器学习专业人士的需求,并被设计为像实习生一样,能够从人类的反馈中进行学习。
它是如何运作的?NEO 是由多个智能体驱动多个专门模型实现的,每个微调模型专门用于机器学习生命周期的不同部分。
面对具体目标,NEO 会启动一套完整的工作流以达成目标。NEO 通过结构化的多步骤方法,将复杂问题拆解为易于管理的组件,化繁为简,从而实现目标。
这一方法包括计划、编码、执行和调试的持续循环,确保在每个阶段都进行充分优化。在这个过程中,NEO 会根据进展不断调整和迭代,直到获得最佳结果。一旦开发者批准 NEO 的输出,整个工作流程即可在几秒钟内部署。NEO 为机器学习工程师简化了上述所有复杂环节。
它的目标不是取代数据科学家或工程师,而是与人类合作并处理所有繁重任务。在人与 AI 合作的工作环境中,人们仅用几个小时就能完成一周的工作。
听起来有点像今年 3 月在 AI 社区爆火的首个 AI 软件工程师 Devin,不过多智能体的方法青出于蓝。
NEO 展示了一系列实际工作的 demo,当要求 NEO 构建一个信用卡欺诈检测系统时,它给出了流畅的任务解决方案:
当要求 NEO 使用协同过滤方法构建一本书籍推荐模型时,它自动完成了数据集的准备工作,还进行了探索性分析,并对数据预处理进行了结构性优化,使数据集能够更好地用于训练:
那么它的跑分如何呢?研究团队在 MLE 基准测试(MLE-bench)上对 NEO 进行了全面评估。MLE-bench 是一种创新的基准测试,专注于将 AI 智能体应用于真实世界的机器学习工程任务。与其他人工设计的挑战不同,这个基准测试通过 75 场实际的 Kaggle 竞赛来评估 AI 智能体在机器学习工程中的表现,具有极高的实用性。
在 50 场 Kaggle 竞赛测试中,NEO 表现堪称卓越:在 26% 的竞赛中获得奖牌,超越了 OpenAI 最新推理加强模型 o1 的基准成绩。为了更直观地理解这一成就,看看 NEO 到底是什么水准,Kaggle 金牌的获得要求就很直白:参赛团队需要进入所有团队排名前 10%。这通常需要极高的专业技能、创新方法以及精细优化。
这回落在 NEO 后面的,是搭配 AIDE 框架的 o1-preview 了。
NEO 在 50 场 Kaggle 比赛中进行了测试,并在其中 26% 的比赛中获得了奖牌,这一表现远远优于此前的搭配 AIDE 框架 Open AI 的 o1 在 MLE 基准测试中的 16.9% 的表现。
NEO 的表现不仅仅是数据,它代表了 AI 辅助机器学习工程的一个突破。凭借如此表现,NEO 已达到堪比 Kaggle 竞赛特级大师的水平,为用户带来了世界级的机器学习专业能力。
官方称,NEO 不仅仅是一款 AI 工具,而是一个像数据竞赛冠军一样的人类合作伙伴,随时准备解决复杂的数据挑战,以经过验证的竞赛获胜能力助你一臂之力。
NEO 的发布在 AI 社区引发了不小的关注,人们非常期待这款新工具能够帮助我们解决繁重的工作,不过也有人认为,目前的展示还只是一面之词,具体情况还得看网友实测。
多智能体的 AI 真的有如此高的潜力吗?让我们拭目以待。
参考链接:https://heyneo.so/blog
© THE END 龙跃龙跃
暂无评论内容