قدمنا PRISMATIC، أول مجموعة بيانات للتوجيه الهيكلي متعددة الوسائط، واقترحنا مقياس تقييم خالٍ من المراجع يقيم آثار التوجيه دون جمل مستهدفة محددة مسبقًا. باستخدام هذا المقياس، قمنا بإنشاء واختبار نماذج بهياكل تشفير متعددة الوسائط مختلفة (مشفّر مزدوج ومشفّر متشابك) للتحقق من قدراتها على الحفاظ على الهيكل. تظهر نتائجنا أن النماذج التي تستخدم كلا طريقتي التشفير تُظهر آثار توجيه نحوي متقاربة. ومع ذلك، فإن نماذج التشفير المتشابك فقط هي التي تظهر ارتباطات إيجابية قوية بين آثار التوجيه والتشابه البصري، مما يشير إلى عملية معرفية تتماشى أكثر مع الأنماط النفسية اللغوية البشرية. توفر هذه الدراسة رؤى جديدة حول تقييم وفهم كيفية معالجة المعلومات النحوية في نماذج اللغة متعددة الوسائط.
درس شياو وآخرون (مون،) هذا السؤال.