GenArtist: 統一された画像生成と編集のためのマルチモーダルLLMエージェント

既存の画像生成および編集手法が達成した成功にもかかわらず、現在のモデルは依然として複雑な問題、特に複雑なテキストプロンプトに苦しんでおり、検証と自己修正メカニズムの欠如が生成された画像を信頼できないものにしています。一方で、単一のモデルは特定のタスクに特化し、対応する能力を持つ傾向があるため、すべてのユーザーの要件を満たすには不十分です。本研究では、マルチモーダル大規模言語モデル（MLLM）エージェントによって調整された統一画像生成および編集システムであるGenArtistを提案します。ツールライブラリに既存のモデルを幅広く統合し、ツールの選択と実行にエージェントを利用します。複雑な問題に対して、MLLMエージェントはそれをよりシンプルなサブ問題に分解し、生成、編集、自己修正の手続きを体系的に計画するためのツリー構造を構築します。ステップバイステップの検証を伴い、自動的に欠落した位置関連の入力を生成し、位置情報を取り入れることで、各サブ問題に対処するために適切なツールを効果的に使用できます。実験により、GenArtistがさまざまな生成および編集タスクを実行でき、最先端の性能を達成し、SDXLやDALL-E 3などの既存モデルを上回ることが示されています（図1参照）。プロジェクトページは https://zhenyuw16.github.io/GenArtistₚage です。