توليد الصور من النص مستندًا إلى انتباه المستخدم الدقيق

Localised Narratives هي مجموعة بيانات تحتوي على أوصاف طبيعية مفصلة للصور مقترنة بتتبع المؤشر الذي يوفر أساسًا بصريًا دقيقًا وفاخرًا للعبارات. نقترح TReCS، نموذج تسلسلي يستغل هذا الأساس لتوليد الصور. يستخدم TReCS أوصافًا لاسترجاع أقنعة التجزئة والتنبؤ بتسميات الكائنات المتوافقة مع تتبع المؤشر. تُستخدم هذه التوافقات لاختيار موقع الأقنعة لتوليد لوحة تجزئة مغطاة بالكامل؛ يتم إنتاج الصورة النهائية بواسطة مولد التجزئة إلى الصورة باستخدام هذه اللوحة. يتفوق هذا النهج متعدد الخطوات القائم على الاسترجاع على نماذج توليد النص إلى صورة المباشرة الموجودة من حيث المقاييس الآلية والتقييمات البشرية: بشكل عام، تكون الصور الناتجة أكثر واقعية فوتوغرافيًا وتتناسب بشكل أفضل مع الأوصاف.