学院新闻

NEWS

朱文武教授团队获NIPS 2018 AutoML挑战赛亚军

December 04 2018

近日,TBSI核心科学家朱文武教授团队在NIPS 2018自动机器学习挑战赛(AutoML3 - Lifelong ML with Concept Drift Challenge)中斩获亚军。该团队在五个测试数据集上取得了2.4的平均排名,以0.2个排名的微小差距惜败于冠军团队。亚军是此次挑战赛世界高校参赛队伍取得的最佳成绩。


图为最终成绩排名

AutoML,全称为Automated Machine Learning,是机器学习领域的一个新兴方向,旨在自动化整个机器学习的流程,降低数据预处理、特征工程、模型选择、参数调节等环节中的人工成本。随着机器学习系统的日益复杂化,AutoML得到了产学研各界的广泛关注,已成为人工智能领域最热门的研究方向之一。目前,谷歌、微软、亚马逊等国际巨头均已推出了针对特定场景的AutoML系统;许多新兴创业公司,如第四范式、SigOpt等,也在研发自己的AutoML算法和系统。

AutoML挑战赛作为该领域最高水准的赛事,自2015年以来已成功举办三届。今年的挑战赛首次登陆NIPS这样的顶级机器学习会议,自然吸引了更多优秀团队的关注和参与。本次赛事共有近三百支队伍参赛,包括了麻省理工学院、加州大学伯克利分校、德州农工大学、清华大学、北京大学等国内外顶尖高校,微软、腾讯、阿里巴巴等科技巨头,Autodidact.ai、Rapids.ai等新兴创业公司,Auto-sklearn、Auto-keras等著名AutoML开源框架的作者团队。今年的赛事题目聚焦于真实应用场景下存在概念迁移的大规模流式数据中的AutoML问题,对AutoML系统的自适应能力、鲁棒性都提出了较以往比赛更高的要求。


团队介绍

Meta_Learners团队由清华大学博士张文鹏、硕士研究生熊铮(清华-伯克利深圳学院)、博士研究生蒋继研组成,由张文鹏担任队长。

在本次比赛中,张文鹏负责技术路线的选择和比赛节奏的把控;熊铮负责基础框架、控制模块的构建和部分特征工程;蒋继研负责概念迁移的处理和部分特征工程。

该团队从2015年开始关注AutoML领域,当时谷歌还没有提出相关概念。最初,张文鹏发现神经网络的调参非常复杂,进而意识到AutoML的价值和潜力。朱文武老师也非常认同,果断组建团队开始该领域的研究。在该团队中,熊铮主要关注基于贝叶斯优化的AutoML系统,蒋继研则关注Bandit方法在AutoML中的应用。

2017年,该团队提出了利用强化学习构建决策树模型的元学习算法并发表于NIPS 2017的Meta Learning Workshop,这也是国内相关领域最早的研究成果之一。

此外,该团队目前也有布局特征工程、深度学习、计算机视觉、自然语言处理等领域的AutoML研究。