基于Mamba多尺度特征提取的密集视频描述方法

密集视频描述旨在从视频中提取多个关键事件并生成连贯的文本描述，可广泛应用于自动讲解、人机交互、视频检索以及辅助视障人士日常生活等场景。现有方法存在对视频中短时、长时等多尺度事件特征提取不足，以及视频重复帧或相似帧特征信息冗余的问题，这导致现有方法生成的视频描述缺失细节信息，连贯性和准确性较低。针对这一问题，研究提出了一种基于Mamba多尺度特征提取的密集视频描述模型(Mamba Multi-scale Feature Extraction for dense video caption，MMFE)。首先，提出Mamba多尺度特征提取模块，利用Mamba增加长程依赖捕捉能力，并通过多层次特征提取和融合，解决了对短时、长时等多尺度事件特征提取不足问题；其次，引入趋势感知注意力，通过重点关注有显著语义变化的关键帧，解决重复帧或相似帧特征信息冗余，提升特征表达的准确性；然后，加入事件差异损失函数，促使模型关注长视频中不同内容事件的特征差异，提高对多样化事件的分辨以及预测能力；最后，在描述头中引入跳跃连接，将先前生成的历史描述文本选择性融入到当前解码过程，通过参考整体视频叙事脉络补充上下文信息，提高模型对全局信息的理解能力。在ActivityNet Captions数据集的实验结果表明，针对短时、长时等不同时长事件定位任务，MMFE的召回率、准确率和F1值分别为59.85%、60.45%和60.15%，较次优方法PDVC提升了4.43%、2.38%和3.44%。针对多样化事件文本描述任务，MMFE的BLEU4、CIDEr和 METEOR分别为2.67%、37.78%和8.79%，较次优方法PDVC提升0.71%、9.19%和0.71%。这表明MMFE所生成的视频描述更加准确，可为提高网络信息传播效率、增强信息安全监管能力以及推动智能社会建设提供有效工具。