Avaliação Analítica de Modelos de Aprendizado Profundo Multimodal Baseados em Prompt Pré-Treinados para Detecção de Objetos Baseada em UAV Apoia o Monitoramento de Crimes Ambientais

O despejo ilegal apresenta sérios riscos aos ecossistemas e à saúde humana, exigindo estratégias de monitoramento eficazes e oportunas. Avanços em veículos aéreos não tripulados (UAVs), fotogrametria e aprendizado profundo (DL) criaram novas oportunidades para detectar e caracterizar objetos de resíduos em grandes áreas. Dentro do âmbito do Projeto EMERITUS, uma iniciativa da UE Horizon Europe que apoia o combate a crimes ambientais, este estudo avalia o desempenho de modelos de DL multimodal baseados em prompt (PBM) pré-treinados integrados ao ArcGIS Pro para detecção e segmentação de objetos. Para testar esses modelos, pesquisas com UAV foram realizadas especialmente em um local de teste semi-controlado no norte da Itália, produzindo ortofotos e quadros de vídeo de resolução muito alta populados com objetos de resíduos simulados, como pneus, barris e pilhas de areia. Três modelos PBM (CLIPSeg, GroundingDINO e TextSAM) foram testados sob diferentes hiperparâmetros e condições de entrada, incluindo ortofotos em múltiplas resoluções e quadros extraídos de vídeos adquiridos por UAV. Os resultados mostram que o desempenho do modelo depende bastante do tipo de objeto e da resolução das imagens. Em contraste, dentro das faixas limitadas testadas, a afinação de hiperparâmetros raramente produziu melhorias significativas. A avaliação dos modelos foi realizada usando baixo IoU para generalizar entre diferentes tipos de modelos de detecção e para focar na capacidade de detecção de objetos. Ao avaliar os modelos com ortoimagens, o CLIPSeg alcançou a maior precisão com escores F1 de até 0.88 para pneus, enquanto barris e classes ambíguas consistentemente apresentaram desempenho inferior. Quadros derivados de vídeo (oblíquos) geralmente superaram ortofotos, refletindo uma correspondência mais próxima às perspectivas de treinamento do modelo. Apesar das limitações atuais nos desempenhos destacadas pelos testes, os modelos PBM demonstram um forte potencial para democratizar a GeoAI (Inteligência Artificial Geoespacial). Essas ferramentas permitem efetivamente que usuários não especialistas empreguem classificação zero-shot em fluxos de trabalho de monitoramento baseados em UAV direcionados ao crime ambiental.