詩は、読者が自らの感情、経験、文化的背景を詩の理解に持ち込むため、複数の解釈を招く表現豊かな芸術形式です。これを認識し、私たちは詩のための画像を生成し、ゼロショット設定でこれらの画像を改善することを目指しています。これにより、聴衆が自身の要件に応じて画像を修正できるようにします。これを達成するために、注意重みとテキスト埋め込みを体系的に修正する新しいウェイト付きプロンプト操作(WPM)技術を導入します。特定の単語の重要性を動的に調整することで、WPMは最終的に生成される画像におけるそれらの影響を強化または抑制し、意味的に豊かで文脈に正確な視覚化を実現します。私たちのアプローチは、拡散モデルとGPTのような大規模言語モデル(LLMs)を既存の詩データセットと組み合わせて活用し、文学分野における画像生成の改善のための包括的で構造化された方法論を確保します。私たちの知る限り、これは詩的言語のイメージを強化するためにウェイト付きプロンプト操作を統合する初めての試みです。
ジャミルら(Mon,)はこの問題を研究しました。