报告题目：视觉 Transformer 与胶囊网络研究进展及在智慧医疗的应用

报告摘要

视觉 Transformer 和胶囊网络模型是近年来备受关注的深度学习模型。视觉 Transformer 采用自注意力机制对输入数据各部分分配不同的权重，结合编码器和解码器结构取得很好的实验结果，但是由于大规模训练数据和长时间训练使得视觉 Transformer 的预训练和优化是一个很有挑战的任务。胶囊网络可以明确地学习到部分和整体特征的相对固定关系，这为胶囊网络提供了一种卷积神经网络所缺乏的等变性机制，从而减少了模型训练期间对数据增强的需求，但胶囊网络训练对显存资源需求很高，这使得训练更深的胶囊网络模型以发挥其全部潜力具有很大的挑战性。在处理医疗图像和视频数据时，由于输入样本尺寸大，上述问题更为突出。本报告将围绕解决以上问题，介绍课题组在视觉 Transformer 和胶囊网络模型训练方面的研究成果和进展，讨论有效加快模型训练速度同时提高任务精确度的方法，以及模型应用于智慧医疗场景任务的效果和挑战。

嘉宾简介

陈俊颖，香港大学博士，浙江大学学士（优秀毕业生），广东省高等学校青年创新人才项目入选者，现任华南理工大学软件学院副教授，担任大数据与智能机器人教育部重点实验室主任助理、智能医学图像处理研究室负责人。致力于模式识别和多源多模态特征筛选及融合研究，以及将人工智能技术融入医疗大数据、临床视频分析和医学图像处理研究；以第一作者或通讯作者在 TPAMI、TNNLS、TMI、JBHI、CVPR、SMC 等学术期刊和会议上发表超过40篇论文，单篇论文最高被引270次（发表于 CVPR 2021）；授权1项发明专利、5项实用新型专利和27项软件著作权；研究成果以微信小程序形式上线2年，已在广东省、江西省等地多家医院推广应用，入选《2022中国计算机学会技术公益年度案例集》；获得中国计算机学会科学技术奖技术发明二等奖，获评国际计算机协会（ACM）杰出演讲者、中国计算机学会杰出会员等荣誉称号。

特别感谢本次Webinar主要组织者：

庄吓海（复旦大学）