国防防伪工程技术研究中心邀请挪威北极大学余书剑博士进行专题讲授。余书剑博士首先回顾了机器学习中常见的距离和相关性度量,并详细介绍了如何用信息论提高机器学习泛化性能。
余书剑博士着重列举了两个例子:1)国际上新开发的矩阵布莱格曼散度及其在迁移学习中的应用;2)基于信息瓶颈去除机器学习算法中的伪相关。听课的学生表示,对余书剑博士的报告很感兴趣,并就相关算法设计及实现与余书剑博士开展多次讨论与交流。
本次专题讲授重点介绍并探讨了信息论在机器学习泛化中的理论与应用问题,给实验室带来国际上一些前沿研究结果,较好提升实验室在该方向的理论基础。具体而言,余书剑博士介绍了如何在高维空间有效的度量散度和互信息,如何基于散度和互信息设计新的深度学习模型学习准则,为实验室在设计新的网络结构提供了理论依据和具体实现方法。在机器学习泛化问题上,余书剑博士着重介绍了其实验室两个最新研究成果,分别是基于矩阵布莱格曼散度的迁移学习以及基于信息瓶颈的去伪相关,为实验室在迁移学习,领域自适应及其跨模态检索等方面提供了较好的理论方法和新颖的解决思路。同时,余书剑博士也从信息论的角度介绍了机器学习算法的鲁棒性问题,为实验室在具体项目中处理带噪声的标记数据,或者处理有分布差异的数据,提供了具体的解决方法和步骤。最后,余书剑博士也介绍了机器学习算法的泛化在未来可能遇到的新问题以及挑战,为实验室对该方向未来动态的把握提供了可行依据。讲学期间,余书剑博士也与实验室多位博士生深入讨论,并确定了部分文章合作事宜。比如信息瓶颈在细粒度分类的应用,以及相关信息准则在跨模态检索的应用