学院新闻

NEWS

TBSI第四次“思享会”之“学习理论”研讨会在深圳大学城顺利举行——关于学习理论,这些观点不容错过

August 14 2019

715日,TBSI学习理论论坛(TBSI Workshop on Learning Theory 2019 (TBSI-WOLT 2019))在清华大学深圳国际研究生院举办,论坛为期3天至717日,主题为学习理论。来自中国、中国台湾、中国香港、美国、加拿大的世界级科学家和年轻教授,就信息论和计算机科学等相关领域展开了深入探讨。

本次论坛共吸引了200多位人士参加,他们分别是各大高校师生和企业界人士。究竟三天的论坛讨论了什么内容,迸发出什么新的观点,让我们盘点一下。


David Tse(谢雅正) 美国工程院院士,斯坦福大学教授

演讲主题:Adaptive Monte Carlo Computation

演讲精华:此次报告的主题为Adaptive Monte Carlo Computation“,主要介绍了David Tse教授使用Adaptive Monte Carlo方法在机器学习问题上的应用,他使用了bandit的方法作为基础,在特定问题上挖掘问题的结构,进一步改进原始的bandit方法,以此达到理论上更好的上界,和实验上突出的效果。


图为David Tse教授

P. R. Kumar 德克萨斯A&M大学教授

演讲主题:Regret and Bandits

演讲精华:此次报告的主题为Regret and Bandits”,主要解决如何在bandit问题中实现在理论上更少的RegretP. R. Kumar教授介绍他们团队在这个问题上已经取得了很大的突破,他们发现了一种新的策略,效果上优于Thompson Sampling,目前成为了最好的学习方法。


图为P. R. Kumar教授

Lizhong Zheng(郑立中)  麻省理工学院电子工程系教授

演讲主题:Control Unintended Learning

演讲精华:本次讲座基于以往的工作,尝试将神经网络的学习行为解释成一个学习低秩函数空间的数据和标签的联合分布表示。并从三个方面解释为什么迁移学习在应用中是可行的:源问题与目标问题之间的统计相似性,混合分布的表示,以及一批训练样本中样本组成的变化。并指出:局部几何分析的方法可以被应用于理解神经网络中的一些操作,注意到这些操作往往比端到端的训练过程要更加复杂。

%3和优化层面,往往获得的数据具有各种各样的干扰,这增加了处理数据的不确定性。而鲁棒优化,则是针对这种不确定性出现的一系列技术。本次讲座主要介绍了一些鲁棒优化与机器学习应用之间的联系。


图为Laurent El Ghaoui教授

Khalid M. Mosalam 加州大学伯克利分校

演讲主题:Applications of Learning Theory in Civil Engineering

演讲精华:本次讲座展示了学习理论在土木工程上的一些应用:首先是一个全新的基于信息论和机器学习的数据驱动的风险分析框架,其次是一个结合领域专业知识和数据驱动方法的人机协作框架,最后是一种基于视觉的自动损坏检测与评估的工具。


图为Khalid M. Mosalam 教授

Stark Draper 多伦多大学教授

演讲主题:Mitigating Stragglers in Distributed Computation and Optimization

演讲精华:利用并行计算的方法来解决大规模数据任务,Stark Draper教授从工业界的需求出发,着重分析了分布式计算中的延迟问题。分布式计算中主要有两种延迟,一种是由于节点计算效率和分布任务的差异,导致产生最先完成计算的节点和最后完成计算的节点有一个时间差;另一种是节点之间沟通信息的时候会产生一定的延迟。为解决这两类延迟,Stark Draper教授介绍了他的团队目前开发的两种方法,并结合团队近期的两篇论文,阐述了目前的效果。


图为Stark Draper教授

Chung Chan(陈聪) 香港城市大学助理教授

演讲主题:Neural Entropic Estimation: A Faster Path to Mutual Information Estimation

演讲精华:MINEmutual information neural estimaiton)算法在初始训练阶段存在收敛速度慢的问题。为了解决该问题,本次讲座提出了MI-NEEmutual information neural entropy estimaiton)算法。


图为Chung Chan助理教授

Yuantao Gu(谷源涛) 清华大学教授

演讲主题:Random Projection Preserves Structures for Union of Subspaces

演讲精华:在机器学习和计算机视觉中,大规模高维数据位于未知低维结构中,研究降维技术可以有效降低解决问题的复杂度。本讲座将介绍低维子空间的各种随机投影的结构保留性质。首先证明了由nR^n中的投影数据所张成的任意两个子空间之间的投影Frobenius范数距离与原始数据所张成的子空间之间的距离几乎相同,以1-e^O(n)的概率近似保持不变。这个结果可以看作是稀疏向量的经典Johnson-LindenstraussJL)引理和RIP的类推,后两个是包括压缩感知在内的稀疏信号处理的基础。作者还证明了任何两个子空间之间的principal angles也通过随机投影以类似于上面的方式保留。基于该principal angles保持特性,建立了许多其他子空间距离测量的RIP

由于principal angles最能表征子空间的相对位置,因此保留principal angles的随机投影也可能保留子空间结构。考虑到这一点,作者的理论允许使用随机投影来减小ambient dimension,理论上保证压缩后的子空间结构得到很好的保留。

作为我们理论的直接应用,当处理位于UoS (Union of Subspaces,联合子空间)中的高维数据时,可以将传统算法应用于随机压缩样本以减轻高计算负担,但仍具有理论性能保证。为了说明这个想法,作者以三个有趣的子空间学习任务为例,即subspace clustering, active subspace detectionsubspace visualization。在随机压缩之后,每个任务中的错误率几乎可以忽略不计,而计算成本却大大降低。还应注意,作者的理论不依赖于任何特定的任务或算法,因此有可能有益于许多其他子空间相关的任务

图为谷源涛教授

Longbo Huang(黄隆波) 清华大学副教授

演讲主题:Multi-armed Bandits with Compensation

演讲精华:黄隆波副教授,为我们展示了他最新的论文Multi-armed Bandits with Competition。这篇论文研究、求解了KCMAB问题(known-compensation multi-arm bandit problem)。一共分析了三个算法来求解KCMAB问题,并列出了它们的缺陷(regrets)和补偿(compensation)。结果发现能达到全局O(logT)缺陷和O(logT)补偿的算法能够满足理论的下限要求。最后展示了算法表现的实验结果。


图为黄隆波副教授

Shao-Lun Huang(黄绍伦) 清华-伯克利深圳学院助理教授

演讲主题:An Information-theoretic Approach to Unsupervised Feature Selection for High-Dimensional Data

演讲精华:黄绍伦助理教授,为我们展示了他的论文An Information-theoretic Approach to Unsupervised Features Selection for High-Dimensional Data。这篇论文构建了用于提取随机变量之间的共同结构方程化表示方法,旨在监督随机变量之间共同信息的变化量。通过最大化总相关系数的损失量来识别隐随机变量集合。随后,采用对数似然函数来估计作为方程化表示的隐变量,结果表明,这些方程化表示包含代表共同结构的信息。

图为黄绍伦助理教授

Vincent Y. F. Tan 新加坡国立大学副教授

演讲主题:Analysis of Optimization Algorithms via Sum-of-Squares

演讲精华有一类一阶黑箱式优化算法定义在有限维欧氏空间上,并且是无约束的最小凸优化问题,针对该算法,作者引入了一种新的框架,用以统一化和系统化它们的性能评估方式。具体来说,针对四类广泛使用的一阶算法,作者的相关工作统一涵盖了一些常用的收敛界限。并且,获得了一种针对利用Armijo-terminated line search的梯度下降的新收敛结果。

图为Vincent Y. F. Tan副教授

I-Hsiang Wang 台湾大学副教授

演讲主题:On Source Anonymity in Heterogeneous Statistical Inference

演讲精华:I-Hsiang Wang副教授,为我们展示了他最新的研究成果On Source Anonymity in Heterogeneous Statistical Inference。这篇论文旨在解决由于信息来源未知导致的异方差问题的假设检验以及参数点估计。考虑到信息来源的未知性,目标函数是在所有信息来源中最小化最差情况下的表现。首先,收集数据;随后,推导表现最优的渐进线。

图为I-Hsiang Wang副教授

本文供稿:马飞、王伟达、陈梦玄、周仕佶