فهم وتوقع خصائص المواد غير العضوية أمر بالغ الأهمية لتسريع التقدم في علوم المواد ودفع التطبيقات في الطاقة والإلكترونيات وما وراءها. يتيح دمج بيانات هيكل المواد مع المعلومات القائمة على اللغة من خلال نماذج لغوية كبيرة متعددة الوسائط (LLMs) إمكانات كبيرة لدعم هذه الجهود عن طريق تعزيز التفاعل بين الإنسان والذكاء الاصطناعي. ومع ذلك، تكمن التحديات الرئيسية في دمج الهياكل الذرية بدقة كاملة داخل نماذج LLMs. في هذا العمل، نقدم MatterChat، نموذج لغوي متعدد الوسائط واعٍ بالهيكل ومرن يوحد بيانات هيكل المواد والمدخلات النصية في نموذج موحد ومتناسق. يستخدم MatterChat وحدة وسيطة لملائمة محتوى التعلم الآلي الأساسي العالمي بين الذرية مع نموذج LLM مدرب مسبقًا، مما يقلل من تكاليف التدريب ويعزز المرونة. تظهر نتائجنا أن MatterChat يحسن بشكل كبير الأداء في توقع خصائص المواد والتفاعل بين الإنسان والذكاء الاصطناعي، متفوقًا على نماذج LLM العامة مثل GPT-4. كما نُظهر فائدته في تطبيقات مثل التفكير العلمي المتقدم وخطوات تصنيع المواد. قدم Tang وزملاؤه MatterChat، إطارًا متعدد الوسائط يدمج بشكل فعال بيانات هيكل المواد مع النماذج اللغوية الكبيرة. يحقق توقعات عالية الدقة للخصائص ويوفر تفسيرًا منطقيًا لتسريع اكتشاف المواد.
درس Tang وزملاؤه هذه المسألة.