Integrando Visão Computacional e Modelos de Linguagem para IA interativa - Robô

Esta pesquisa apresenta uma abordagem inovadora para integrar sistemas robóticos com inteligência artificial, abordando desafios de longa data em sua funcionalidade. Utilizando o modelo de detecção de objetos YOLOv9, o Modelo de Linguagem de Grande Escala LLM, Geração Aumentada por Recuperação RAG, juntamente com um braço robótico de 6 graus de liberdade 6DOF, o design alcança interação perfeita e funcionalidade multifacetada. Escolhas de design chave, incluindo seleção de hardware (Raspberry Pi 58GB) e utilização de várias técnicas, otimizam o desempenho. Resultados experimentais demonstram um nível de confiança de 1.0 em um limite de confiança de 0.970 para todas as classes combinadas. Na curva de Confiança F1, a curva de todas as classes atinge um score F1 de 0.84 em um limite de confiança de 0.524, demonstrando um desempenho geral forte e um equilíbrio entre precisão e recall. A síntese de diversas abordagens metodológicas destaca a trajetória de desenvolvimento deste sofisticado assistente robótico, destacando seu potencial transformador em promover operações efetivas além dos paradigmas convencionais.