探索构建方言-普通话代码混合语料库的方法：以台湾福建话为例

在自然语言处理（NLP）中，代码混合（CM）是一项具有挑战性的任务，尤其当混合语言包括方言时。在新加坡、印度尼西亚和马来西亚等东南亚国家，福建话-普通话是华人移民中最广泛使用的代码混合语言对，在台湾也很常见。然而，方言如福建话往往资源匮乏，缺乏正式书写系统，限制了方言CM研究的发展。本文提出了一种构建福建话-普通话CM数据集的方法，以缓解这一限制，克服汉藏语言系下的形态学问题，并通过基于语言学的工具包提供高效的福建话分词方法。此外，我们使用所提出的数据集并采用迁移学习来训练用于翻译任务的XLM（跨语言模型）。为了适应代码混合场景，我们对XLM进行了轻微调整。我们发现，利用语言学知识、规则和语言标签，该模型在CM数据翻译上表现良好，同时保持单语翻译质量。