Predizendo Múltiplas Métricas para Consultas: Decisões Melhores Habilitadas pelo Aprendizado de Máquina

Um dos aspectos mais desafiadores da gestão de um grande data warehouse é identificar como as consultas se comportarão antes que comecem a ser executadas. No entanto, conhecer suas características de desempenho - seus tempos de execução e uso de recursos - pode solucionar dois problemas importantes. Primeiro, cada fornecedor de banco de dados enfrenta dificuldades na gestão de consultas que se prolongam inesperadamente. Quando essas consultas longas podem ser identificadas antes de começarem, elas podem ser rejeitadas ou agendadas para momentos em que não causarão contenda extrema por recursos com as outras consultas no sistema. Segundo, decidir se um sistema pode completar uma carga de trabalho dada em um período de tempo específico (ou se um sistema maior é necessário) depende do conhecimento dos requisitos de recursos das consultas nessa carga de trabalho. Desenvolvemos um sistema que utiliza aprendizado de máquina para prever com precisão as métricas de desempenho de consultas de banco de dados cujos tempos de execução variam de milissegundos a horas. Para treinar e testar nosso sistema, usamos tanto consultas reais de clientes quanto consultas geradas a partir de um conjunto expandido de modelos TPC-DS. As extensões imitam consultas que causaram problemas para os clientes. Usamos essas consultas para comparar a precisão de como diferentes técnicas preveem métricas como tempo decorrido, registros utilizados, I/Os de disco e bytes de mensagens. A técnica mais promissora não foi apenas a mais precisa, mas também previu essas métricas simultaneamente e usando apenas informações disponíveis antes da execução da consulta. Validamos a precisão dessa técnica de aprendizado de máquina em várias configurações do HP Neoview. Conseguimos prever o tempo decorrido de cada consulta individual dentro de 20% do seu tempo real para 85% das consultas de teste. O mais importante, conseguimos identificar corretamente tanto as consultas de curta duração quanto as de longa duração (até duas horas) para informar a gestão de carga de trabalho e o planejamento de capacidade.