尼泊尔头条生成的单语和多语变压器模型的评估

由于标注数据、NLP工具和预训练模型的稀缺，为低资源语言开发可靠的自然语言生成 (NLG) 系统仍然是一个主要问题。本文全面评估了四种基于变压器的架构，用于尼泊尔新闻头条生成，这是一种形态丰富且未充分代表的语言。我们评估了代表不同架构范式的四种模型：mBART-large-cc25 和 mT5-small（多语种编码-解码模型），NepBERTa（适配于序列到序列架构的单语编码模型），以及 LLaMA-3.2-1B（多语种仅解码模型，没有在尼泊尔语上进行微调）。所有模型均在统一的实验设置下进行了定制数据集 (NEPHEAD) 的微调，以实现可控比较。模型表现使用包括 ROUGE、BLEU、METEOR、BERTScore 和基于 SBERT 的相似性在内的词汇和语义自动化指标进行评估，并基于相关性、流畅性、简明性、准确性和参与度进行人工评估。还计算了使用斯皮尔曼等级相关系数 (ρ) 和皮尔逊相关系数 (r) 的注释者间一致性，以评估评估的可靠性。结果显示，多语种编码-解码模型，特别是 mBART-large-cc25，在自动和人工评估中都取得了最佳整体表现。mT5-small 模型表现竞争力，而 LLaMA-3.2-1B 尽管没有明确的尼泊尔预训练但展现出强大的适应性。相比之下，NepBERTa由于架构和分词限制表现有限。这些发现强调了预训练目标、模型架构和分词器设计在低资源文本生成中的重要性，并为在未充分代表的语言中开发可靠的 NLG 系统提供了实用见解.