使用机器学习对等模型交换框架对 GDM 风险预测模型进行外部验证

背景：尽管已经开发了许多风险预测模型，但主要由于数据获取方面的问题，极少有模型进行外部验证。因此，我们采用了一种对等模型交换方法来促进外部验证，并展示了其在妊娠期糖尿病（GDM）预测模型中的应用。 目的：利用对等模型交换框架评估两个独立开发的 GDM 风险预测模型的稳健性和泛化性。 方法：使用对等模型交换对两个独立开发的 GDM 风险预测模型进行了外部验证。交换了已保存模型的相应变量类型和数据预处理器。Monash CatBoost 模型在 Dublin City University（DCU）使用爱尔兰数据进行验证，而 DCU logistic-regression GDM 模型在 Monash University 使用澳大利亚数据进行验证。使用区分度、校准度和决策曲线分析评估了模型性能，并评估了模型公平性。 结果：澳大利亚队列中 GDM 患病率为 21.1%，爱尔兰队列中为 11.7%。Monash 模型的 AUC 从 0.93 降至 0.77，而 DCU 模型的 AUC 从 0.82 降至 0.69。校准估计证实了系统性风险错误估计；每个模型在其训练领域之外往往倾向于过高或过低预测 GDM 概率，Monash 模型的整体校准度（calibration-in-the-large）为 -0.573，DCU 模型为 0.17；斜率分别为 1.278 和 0.55。两个模型在不同种族群体中均表现出性能差异，在东南亚/东北亚人群中的性能较低，且随着产次的增加以及在无既往 GDM 诊断的女性中均表现更好。 结论：每个模型的性能在外部验证时均有所下降，针对不同子类别（种族、产次和既往 GDM）的公平性评估为推进部署前模型重新校准/更新需要解决的领域提供了证据。这种对等模型交换方法为促进外部验证提供了解决方案，外部验证在当前文献中明显缺乏，但对推动风险预测领域的发展至关重要。