لغة الأفعال: استرجاع النحو والدلالة للأنشطة الإنسانية الموجهة نحو الهدف

تصف هذه الورقة إطارًا لنمذجة الأنشطة البشرية كعمليات ذات هيكل زمني. تستند نهجنا إلى الطبيعة الهرمية الجوهرية للأنشطة البشرية والتوافق القوي بين الأفعال البشرية والكلام: نحن نمذجة وحدات الفعل باستخدام نماذج ماركوف المخفية، تمامًا كما نفعل مع الكلمات في الكلام. تشكل وحدات الفعل هذه اللبنات الأساسية لنمذجة الأنشطة البشرية المعقدة كجمل باستخدام قواعد الفعل. لتقييم نهجنا، جمعنا مجموعة بيانات كبيرة من الأنشطة اليومية للطهي: تتضمن مجموعة البيانات ما مجموعه 52 مشاركًا، كل منهم يؤدي 10 أنشطة طهي في مطابخ حقيقية متعددة، مما أسفر عن أكثر من 77 ساعة من لقطات الفيديو. نحن نقيم مجموعة أدوات HTK، وهي محرك التعرف على الكلام المتطور، بالجوار مع العديد من موصوفات ميزات الفيديو، لكل من التعرف على أنشطة الطهي (مثل صنع الفطائر) وأيضًا التحليل الدلالي للفيديوهات إلى وحدات الفعل (مثل كسر البيض). تظهر نتائجنا فوائد الأساليب التوليدية الزمنية المنظمة مقارنة بالأساليب التمييزية الحالية في مواجهة تعقيدات الأنشطة اليومية للبشر.