LLMSense: تسخير LLMs للاستدلال عالي المستوى على تتبعات أجهزة الاستشعار المكانية والزمانية

تركز معظم الدراسات حول تعلم الآلة في أنظمة الاستشعار على مهام الإدراك منخفضة المستوى التي تعالج البيانات الحسية الأولية ضمن نافذة زمنية قصيرة. ومع ذلك، تتطلب العديد من التطبيقات العملية، مثل نمذجة الروتين البشري وتتبع الإشغال، قدرات استدلال عالية المستوى لفهم المفاهيم وإجراء استنتاجات بناءً على تتبعات أجهزة الاستشعار طويلة المدى. تواجه الأساليب الحالية القائمة على تعلم الآلة للتعامل مع مثل هذه المهام المعقدة صعوبة في التعميم بسبب محدودية عينات التدريب والأبعاد العالية لتتبعات أجهزة الاستشعار، مما يستلزم دمج المعرفة البشرية لتصميم نماذج المبادئ الأولى أو طرق الاستدلال المنطقي. نطرح سؤالاً جوهرياً: هل يمكننا تسخير قدرات الاستدلال والمعرفة بالعالم لدى Large Language Models (LLMs) للتعرف على الأحداث المعقدة من تتبعات أجهزة الاستشعار المكانية والزمانية طويلة المدى؟ للإجابة على هذا السؤال، قمنا بتصميم إطار عمل فعال للحث (prompting) لـ LLMs في مهام الاستدلال عالي المستوى، والذي يمكنه التعامل مع التتبعات المأخوذة من بيانات أجهزة الاستشعار الأولية وكذلك نتائج الإدراك منخفضة المستوى. كما قمنا بتصميم استراتيجيتين لتعزيز الأداء مع تتبعات أجهزة الاستشعار الطويلة، بما في ذلك التلخيص قبل الاستدلال والتضمين الانتقائي للتتبعات التاريخية. يمكن تنفيذ إطار العمل الخاص بنا في بيئة سحابية طرفية (edge-cloud)، حيث يتم تشغيل LLMs صغيرة على الحافة لتلخيص البيانات وإجراء استدلال عالي المستوى على السحابة للحفاظ على الخصوصية. تُظهر النتائج أن LLMSense يمكنه تحقيق دقة تزيد عن 80% في مهمتين من مهام الاستدلال عالي المستوى، مثل تشخيص الخرف باستخدام تتبعات السلوك وتتبع الإشغال باستخدام تتبعات أجهزة الاستشعار البيئية. تقدم هذه الورقة بعض الرؤى والإرشادات للاستفادة من LLM للاستدلال عالي المستوى على تتبعات أجهزة الاستشعار، وتسلط الضوء على عدة اتجاهات للعمل المستقبلي.