近日,研究中心博士生韩忠义为第一作者,魏本征老师作为通讯作者的论文“Unifying Neural Learning and Symbolic Reasoning for Spinal Medical Report Generation”(作者:韩忠义,魏本征*,袭肖明,Bo Chen, 尹义龙*, 李硕)被中科院一区(小类)期刊Medical Image Analysis录用。Medical Image Analysis是医学图像处理领域顶刊,其影响因子为11.148。
脊柱放射学中的自动医学报告生成,即给定脊柱医学图像并直接生成放射科医生级别的诊断报告以支持临床决策,是医学人工智能领域一项前沿基础性研究。该研究工作涉及视觉感知和高级推理过程等多个复杂任务,极具挑战性。在该论文中,提出了神经-符号学习(NSL)框架,通过将深度学习和符号逻辑推理统一起来,对脊柱医疗报告的生成进行类人学习。NSL框架首先采用深度学习来模仿人类的视觉感知,以检测目标脊柱结构中的异常。同时,设计了一个对抗网络,通过嵌入先验领域知识,将符号图推理模块内插到生成式对抗网络中,实现了高复杂度和高变异性的脊柱结构的语义分割。其次,NSL进行类人的符号逻辑推理,通过元解释学习实现对检测到的异常实体做无监督的因果分析。最后,NSL将检测出的目标疾病填充到统一的模板中,成功实现了综合医学报告的生成。在实际的临床数据集中,一系列的实证研究证明了其在脊柱医疗报告生成上的能力,并表明所提出的算法在脊柱结构的检测上具有明显的优越性。所设计的研究算法,可作为一种潜在的临床工具,并助力于计算机辅助脊柱疾病的诊断。