近日，我校计算机工程学院郑翔天博士以第一作者、通讯作者，南京工程学院为第一署名单位，在国际权威期刊《Information Fusion》发表最新研究成果：Multi-modal person re-identification based on transformer relational regularization。该期刊是Elsevier出版社旗下的顶级期刊，为计算机科学中科院一区TOP期刊，致力于报道计算机科学取得的突破性进展，涉及领域包括计算机、人工智能、信息融合和感知与决策技术等，影响因子为18.6。

多模态人员重识别是一种重要的计算机视觉问题，旨在跨越不同传感器模态下的摄像头，识别并匹配同一人员。多模态人员重识别技术在公共安全场景应用中具有重要意义。然而，当前方法往往忽视了在特征融合阶段模态之间的相关性，导致在低光或夜晚环境中的表现不佳。为了解决这一问题，作者与安全探测创新团队提出了一种名为（Transformer Relation Regularization, 简称TRR）的新型多模态人员重识别方法。TRR方法首先引入了自适应协作匹配模块，通过挖掘不同模态之间的特征对应关系，促进有用信息的交换，从而实现了对互补信息的整合，增强了重识别性能。其次，提出了增强嵌入模块，利用各模态内部的判别信息来纠正一般信息，提高了模型在复杂多模态环境中的稳定性。最后，设计了自适应三重损失，以提高样本利用效率，并缓解多模态样本之间不一致表示的问题，优化了模型区分不同个体的能力，从而提高了重识别准确性。作者团队在多个具有挑战性的可见-红外人员重识别基准数据集上进行了实验，结果表明，所提出的TRR方法实现了最佳性能。此外，广泛的消融研究验证了每个组件对整体模型的有效贡献。综上所述，TRR方法有效地利用互补信息，解决了模态间相关性，并在多模态场景下改善了重识别性能。

文章信息：

Zheng Xiangtian, Huang Xiaohua, Ji Chen, et al. Multi-modal person re-identification based on transformer relational regularization[J]. Information Fusion, 2024, 103: 102128. DOI: 10.1016/j.inffus.2023.102128

主题：有效利用不同模态之间的互补信息和约束关系