近日,计算机工程学院、人工智能学院张嘉超副教授作为第一作者,南京工程学院为第一署名单位,联合中电科联海创智信息科技有限公司、南京理工大学,在国际权威期刊《Information Fusion》发表题为 “Uncertainty-aware dual-side enhancement for event-based action recognition with explicit semantic priors”的学术论文。该期刊是计算机科学与人工智能领域具有重要国际影响力的高水平学术期刊,是中科院计算机科学大类一区TOP期刊,影响因子17.4。

事件相机是一种受生物启发的新型视觉传感器,以微秒级时间分辨率异步记录像素级亮度变化,具有高动态范围、抗运动模糊等优势,适用于高速运动与复杂光照场景下的动作识别。然而,直接将RGB预训练模型迁移至异步事件数据时,普遍面临空间稀疏导致的特征纠缠问题;同时,传统类别标签语义缺乏描述复杂交互时空演化的细粒度语境,导致语义对齐困难。因此,研究团队提出了不确定性感知的双侧增强多模态框架(UADE):在视觉侧,设计不确定性感知事件矫正器(UAER),通过“局部—全局—局部”循环机制利用全局时空语义修正局部不连续性,并基于概率建模显式量化视觉不确定性;在文本侧,构建自适应知识检索器(AKR),从显式动作定义库中检索细粒度运动学描述以消解语义歧义。框架进一步建立了跨模态自适应联动机制,由估计的视觉不确定性动态门控文本检索深度,实现模态间互补推理。相关成果可为低光照、高速运动等复杂场景下的智能视频监控、人机交互等领域提供可靠的感知支撑。
论文链接:https://doi.org/10.1016/j.inffus.2026.104693