What type of study is this?

September 5, 2025Open Access

Avaliação do Desempenho de um LLM na Anotação de Estratégias de Discurso

TMTaylor MeizlishNagoya University of Foreign Studies CZChris ZiffoNagoya University of Foreign Studies

Key Points

Um LLM melhora efetivamente a anotação pragmática, aprimorando a qualidade da identificação de estratégias de discurso.
O ChatGPT-4 demonstrou alta confiabilidade e concordância entre avaliadores humanos ao avaliar estratégias de recusa entre os alunos.
O estudo analisou amostras de escrita em inglês de estudantes universitários japoneses, mostrando o potencial do LLM para anotação escalável.
As descobertas indicam que LLMs podem auxiliar significativamente na anotação pragmática, o que pode transformar abordagens na linguística de corpus.

Abstract

Resumo A anotação manual continua sendo essencial para identificar características pragmáticas e de discurso complexas na linguística de corpus, particularmente os componentes funcionais dos atos de fala. Embora a marcação de partes do discurso e semântica possa ser automatizada com alta precisão, a anotação de estratégias de discurso continua sendo desafiadora devido à sua natureza sensível ao contexto e à falta de realizações lexicais consistentes. Essas limitações dificultam a escalabilidade das abordagens de função para forma e restringem o desenvolvimento de corpora ricamente anotados para pesquisa e instrução em pragmática. Este estudo investiga se um modelo de linguagem grande (LLM), especificamente o ChatGPT-4, pode apoiar a anotação funcional de estratégias de recusa em inglês. Um corpus de Tarefas de Conclusão de Discurso escritas por aprendizes de inglês de universidades japonesas foi analisado quanto à confiabilidade, concordância entre avaliadores humanos, precisão e generalizabilidade. Os resultados sugerem que um LLM pode ajudar grandemente no processo de anotação pragmática para aumentar a escalabilidade e a precisão.

Perguntar à IA

Bookmark

View Full Paper