近日,研究中心硕士生韩忠义一篇论文“Recursive narrative alignment for movie narrating”被《中国科学:信息科学(英文版)》(Science China InformationSciences)录用,该刊为CCF B类期刊,最新的影响因子为2.731。论文在线网址为http://scis.scichina.com/en/2020/174101.html。
论文提出了循环情节配准(Recursive narrative alignment)的方法解决了自动的电影叙事(Movie Narrating)难题。该方法使用语义注意机制自适应地将视觉因素与故事中的关键词对齐,从而改善了框架叙事的连贯性。 此外,它递归地将先前帧中的上下文表达应用到当前帧中,以改善叙事衔接。 最后,电影和故事之间的情感冲突通过我们最新设计的正则化约束得以解决,该正则化约束使情感冲突的流形距离最小化。
除了对自动的理解电影至关重要以外,此方法还可以应用于许多场景,例如社交媒体上的自动情感叙事,旅行摘要或事件日记的自动生成。 此外,作为涵盖计算机视觉,自然语言处理和哲学的跨学科研究,电影叙事可以将人工智能从目前对视觉的基本理解提升为类人理解。