2023年8月24日,香港大学助理教授邹荻凡博士应无线光通信与网络中心邀请做了一场题为“深度学习理论:模型的过参数化与泛化”的学术报告。报告会由龚晨教授主持,共40余名师生参加。此次报告会得到了“中科院无线光电通信重点实验室系列讲座”的支持,由中科大信息科学技术学院、中科院无线光电通信重点实验室承办。
报告中,邹荻凡博士首先说明了深度学习已经彻底颠覆了人工智能领域,在各种应用中取得了显著的成功。然而,深度神经网络的高维和非凸性质使得理解其行为和性能具有挑战性。
然后,邹荻凡博士介绍了过度参数化的定义,过度参数化是指神经网络参数比拟合训练数据所需参数更多的现象,在深度学习理论研究中已成为一个关键概念。接着,邹荻凡博士重点介绍了其最近关于过参数神经网络泛化性能分析的一系列理论工作,主要包括两大类方法:核方法(kernel regime)和非核方法(beyond kernel regime)。其中前者将神经网络的训练过程描述成一个基于神经网络模型的核回归问题;后者则着重于分析神经网络训练对数据特征的学习能力。邹荻凡博士详细分析了过度参数化如何影响模型训练、泛化和样本复杂度。
最后,邹荻凡博士对深度学习进行了展望,总结了已有的理论研究方法和结论,并指出了领域内待解决的关键问题以及可能的解决方案。报告结束后,邹荻凡博士与在座的老师和同学们进行了深入的交流,达到了学术交流迸发思想的目的。
报告人介绍:
邹荻凡博士是香港大学计算机系以及数据科学学院助理教授,博士生导师。他在美国加州大学洛杉矶分校获得博士学位,在中国科学技术大学信息与通信工程和应用物理方向分别获得硕士和学士学位。他的研究方向主要包括机器学习、深度学习理论、图神经网络以及人工智能方法在不同领域的应用。他在机器学习顶会(ICML、NeurlPS、ICLR、COLT等)发表论文20余篇,并在国际知名期刊(IEEE Trans.、Nature Comm.、PNAS等)发表论文10余篇。他在NeurIPS、AAAI会议担任领域主席并在ICML、ICLR、COLT等多个会议担任审稿人。