Aproveitando Prompts em LLMs para Superar Desiquilíbrios em Dados Textuais Educacionais Complexos

Neste artigo, exploramos o potencial dos Modelos de Linguagem Grandes (LLMs) com afirmações para mitigar desiquilíbrios em conjuntos de dados educacionais. Modelos tradicionais muitas vezes não conseguem atender a essas demandas, particularmente devido à complexidade e à natureza sutil dos dados. Esse problema é especialmente proeminente no setor educacional, onde os níveis de engajamento cognitivo entre os alunos apresentam variação significativa em suas respostas abertas. Para testar nossa hipótese, utilizamos uma tecnologia existente para engenharia de prompt baseada em afirmações através de um 'Processo de Design Iterativo - ICL PE', comparando modelos tradicionais de Aprendizado de Máquina (ML) com LLMs aumentados com afirmações (N=135). Além disso, realizamos uma análise de sensibilidade em um subconjunto (n=27), examinando a variância no desempenho dos modelos em relação a métricas de classificação e níveis de engajamento cognitivo em cada iteração. Nossas descobertas revelam que LLMs com afirmações superam significativamente modelos tradicionais de ML, particularmente nos níveis de engajamento cognitivo com representação minoritária, registrando um aumento de até 32% no F1-score. Além disso, nosso estudo de sensibilidade indica que a incorporação de afirmações direcionadas no LLM testado no subconjunto melhora seu desempenho em 11,94%. Essa melhoria aborda principalmente erros resultantes das limitações do modelo em entender o contexto e resolver ambiguidades lexicais nas respostas dos alunos.