Estimativa de forças de manipulação baseada em visão por meio de aprendizado profundo de imagens cirúrgicas laparoscópicas obtidas em um experimento com rins suínos excisados

Resumo Na cirurgia assistida por robô, na qual a háptica deve estar ausente, os cirurgiões experimentam sensações semelhantes à háptica como "feedback pseudo-háptico". Como cirurgiões que realizam rotineiramente cirurgia laparoscópica assistida por robô, nos perguntamos se poderíamos tornar essas "pseudo-hápticas" explícitas para os cirurgiões. Portanto, criamos um modelo de simulação que estima forças de manipulação usando apenas imagens visuais durante a cirurgia. Este estudo teve como objetivo alcançar estimativas baseadas em visão da magnitude das forças durante a manipulação de órgãos com pinças. Também tentamos detectar sobrecarga, superando o limite de manipulação segura. Criamos uma pinça sensora que pode detectar pressão precisa nas pontas com três vetores. Usando um sistema endoscópico que é utilizado em cirurgia real, imagens da manipulação de rins de porcos excisados foram registradas com dados de força sincronizados. Um modelo de estimativa de força foi então criado usando aprendizado profundo. A detecção eficaz de sobrecarga foi alcançada se a região das imagens visuais fosse restringida pela região de interesse ao redor das pontas das pinças. Neste artigo, enfatizamos a importância de limitar a região de interesse nas tarefas de estimativa de força baseada em visão.