边缘计算促进了在资源受限环境中的深度学习,但资源异构性和动态约束等挑战仍然存在。本文介绍了AMP4EC,一种旨在通过实时资源监控、动态模型分区和自适应任务调度来优化边缘环境中深度学习推理的自适应模型分区框架。AMP4EC具备一个基于设备能力分割深度学习模型的资源感知模型分区器,一个通过加权评分机制确保高效负载平衡的任务调度器,以及用于验证的基于Docker的部署环境。实验结果显示,与基线方法相比,延迟最多减少78%,吞吐量提高414%。该框架在不同资源配置下实现了一致的性能,具有低调度开销,表现出在高资源(1 CPU,1GB RAM)和低资源(0.4 CPU,512MB RAM)场景中的适应性。这些结果突出显示了AMP4EC在现实边缘部署中的可扩展性、高效性和鲁棒性,满足了在动态、资源受限环境中高效分布式推理的关键需求。
Zhang et al.(星期二)研究了这个问题。