使用大型语言模型将手语识别转化为口语句子

手语翻译（SLT）是一项具有挑战性的任务，旨在从手语视频中生成口语句子。本文介绍了一种混合手语翻译方法Spotter+GPT，利用手语识别器和预训练的大型语言模型来提高手语翻译的性能。我们的方法结合了这两个组件的优势。视频首先由识别器处理，该识别器在语言手语数据集上进行了训练，以识别单个手语。这些识别出的手语然后传递给强大的语言模型，后者将其转化为连贯且符合语境的口语句子。