自监督学习结合自适应频率-时间注意力变压器用于癫痫预测和分类

背景：在基于深度学习的癫痫预测和分类中，增强脑电图（EEG）特征的提取对于提高模型的准确性至关重要。传统的监督学习方法依赖于大量详细标注的数据集，这限制了大规模训练的可行性。最近，采用掩码和重建策略的自监督学习方法应运而生，减少了对标记数据的依赖。然而，这些方法容易受到EEG数据中固有噪声和信号退化的影响，从而降低特征提取的鲁棒性和总体模型性能。方法：在这项研究中，我们提出了一种增强自适应频率-时间注意力（AFTA）自监督学习变压器网络，从未标记数据中学习鲁棒的EEG特征表示，利用掩码和重建框架。具体来说，我们使用自监督学习方法对变压器网络进行了预训练，随后对预训练模型进行了微调，以用于癫痫预测和分类等下游任务。为了减轻EEG信号中固有噪声的影响，并增强特征提取能力，我们将AFTA纳入变压器架构。AFTA结合了自适应频率滤波模块（AFFM），在频域内执行自适应全局和局部滤波。该模块与时间注意力机制相结合，增强了模型的自监督学习能力。结果：我们的方法在EEG分析任务中表现出色。在TUSZ、TUAB和TUEV数据集上，我们的方法始终优于最先进的方法，达到最高的AUROC（0.891）、平衡精度（0.8002）、加权F1分数（0.8038）和Cohen's kappa（0.6089）。这些结果验证了其在多样化EEG数据集上进行癫痫检测和分类任务中的鲁棒性、泛化性和有效性。