喻园管理论坛2023年第70期(总第893期)
演讲主题: 深度神经网络训练的低维子空间理论与算法
主 讲 人: 黄晓霖，上海交通大学自动化系副教授、副系主任
主 持 人: 熊 慧，管理学院生产运作与物流管理系副教授
活动时间: 2023年9月6日（周三） 9:30-11:30
活动地点: 管理大楼119室
主讲人简介：
黄晓霖，上海交通大学长聘副教授、博士生导师，自动化系副主任，研究方向为机器学习理论与算法，特别是核学习与深度学习中的稳健性。发表论文五十余篇，其中十余篇发表于领域重要期刊《Journal of Machine Learning Research》《IEEE Transactions on Pattern Analysis and Machine Intelligence》《Applied and Computational Harmonic Analysis》，并在《Nature Reviews Methods Primers》发表综述一篇。近年来，主持国家自然科学基金面上项目、JWKJW创新专项、上海市科技创新行动计划项目；参与“2030新一代人工智能”重大专项和“人工智能前沿基础理论与关键技术”上海市科技重大专项。2017年入选国家特聘专家（青年项目）。
活动简介：
深度神经网络的参数量极大，产生了很多冗余的特征，这也是神经网络存在对抗样本的根本原因之一。找到有效的低维结构、有效地去除冗余有望很好地控制神经网络、提升其稳健性。通过分析神经网络训练的动态特性，我们提出了神经网络动态低维结构，发展了新的降维方法，第一次证实了深度神经网络在优化时的梯度处于低维的子空间。进一步，围绕超低维动态空间的机理和实际工业应用展开研究，我们发展了低维高阶优化算法、历史组合可训练权重方法、局部优化方法等，提升了训练性能并从新的角度解释了对抗攻击样本的存在性。相应成果近期相继发表在IEEE TPAMI, ICLR, CVPR等期刊和会议上。我们与华为开展了合作研究，将低维空间中的训练方法应用于实际业务，展现出了良好的性能。
