通过上下文感知注意机制增强图像标题生成

图像标题生成是基于图像内容生成自然语言描述的过程，因其在场景理解和人机交互中的潜在应用而受到AI研究的关注。虽然之前的研究主要集中在英文标题生成，但处理孟加拉语等低资源语言时面临挑战，特别是在生成将视觉对象与相应单词联系起来的一致性标题方面。本文提出了一种基于语义注意机制的上下文感知注意机制，以准确识别孟加拉语图像标题生成中的对象。提议的架构由编码器和解码器块组成。我们选择了ResNet-50作为图像特征编码的预训练模型，因为它能够解决梯度消失问题并识别复杂对象特征。对于生成标题的解码，采用双向门控递归单元（GRU）架构结合注意机制，能够捕捉双向的上下文依赖，从而生成更准确的标题。本文还强调了在领域之间转移知识的挑战，尤其是对于文化特定图像。对三个孟加拉基准数据集BAN-Cap、BanglaLekhaImageCaption和Bornon的评估显示，与现有方法相比，METEOR评分分别提高了约30%、18%和45%。尽管某些数据集的参考标题存在局限，所提议的基于上下文感知的注意力图像标题生成系统在孟加拉语标题生成方面显著优于当前最先进的模型。