条件图像生成模型的一致性-多样性-现实主义帕累托前沿

构建准确且全面代表现实世界的世界模型是条件图像生成模型的至高愿望，因为这将使它们能够作为世界模拟器使用。为了使这些模型成为成功的世界模型，它们不仅要在图像质量和提示-图像一致性方面表现出色，还必须确保高表示多样性。然而，目前对生成模型的研究主要集中在主要关注人类对图像质量和美学偏好的创造性应用上。我们注意到，生成模型具有推理时间机制——或称为旋钮——允许控制生成的一致性、质量和多样性。在本文中，我们使用最先进的文本到图像和图像与文本到图像模型及其旋钮，绘制出提供一致性-多样性-现实主义多目标整体视图的帕累托前沿。我们的实验表明，现实主义和一致性可以同时提高；然而，现实主义/一致性与多样性之间存在明显的权衡。通过观察帕累托最优点，我们注意到早期模型在表示多样性方面表现更好，而在一致性/现实主义方面较差，较新的模型在一致性/现实主义方面表现优异，但显著降低了表示多样性。通过在一个地球多样化的数据集上计算帕累托前沿，我们发现第一版潜在扩散模型在所有评估轴上往往优于较新的模型，并且地理区域之间存在明显的一致性-多样性-现实主义差异。总体而言，我们的分析清楚地显示，没有最佳模型，模型的选择应由下游应用决定。通过这一分析，我们邀请研究界将帕累托前沿视为衡量向世界模型进展的分析工具。