Engenharia de Software para Aprendizado de Máquina: Um Estudo de Caso

Avanços recentes em aprendizado de máquina estimularam um amplo interesse no setor de Tecnologia da Informação na integração de capacidades de IA em software e serviços. Esse objetivo forçou as organizações a evoluir seus processos de desenvolvimento. Relatamos um estudo que conduzimos ao observar equipes de software na Microsoft enquanto desenvolvem aplicações baseadas em IA. Consideramos um processo de fluxo de trabalho de nove etapas informado por experiências anteriores no desenvolvimento de aplicações de IA (por exemplo, busca e PNL) e ferramentas de ciência de dados (por exemplo, diagnóstico de aplicações e relato de bugs). Descobrimos que várias equipes da Microsoft uniram esse fluxo de trabalho em processos de engenharia de software ágeis, bem evoluídos e preexistentes, fornecendo insights sobre vários desafios essenciais de engenharia que as organizações podem enfrentar ao criar soluções de IA em grande escala para o mercado. Coletamos algumas melhores práticas das equipes da Microsoft para enfrentar esses desafios. Além disso, identificamos três aspectos do domínio de IA que o tornam fundamentalmente diferente dos domínios anteriores de aplicações de software: 1) descobrir, gerenciar e versionar os dados necessários para aplicações de aprendizado de máquina é muito mais complexo e difícil do que outros tipos de engenharia de software, 2) a personalização de modelos e a reutilização de modelos requerem habilidades muito diferentes das normalmente encontradas em equipes de software, e 3) os componentes de IA são mais difíceis de manejar como módulos distintos do que componentes de software tradicionais - os modelos podem estar "entrelaçados" de maneiras complexas e apresentar comportamentos de erro não monótonos. Acreditamos que as lições aprendidas pelas equipes da Microsoft serão valiosas para outras organizações.