Uma Pesquisa sobre Avaliação Útil de LLM

As LLMs têm atraído atenção em vários domínios de pesquisa devido ao seu desempenho excepcional em uma ampla gama de tarefas complexas. Portanto, métodos refinados para avaliar as capacidades das LLMs são necessários para determinar as tarefas e responsabilidades que devem assumir. Nosso estudo discutiu principalmente como as LLMs, como ferramentas úteis, devem ser avaliadas de forma eficaz. Propusemos uma estrutura em duas etapas: de ``habilidade central'' para ``agente'', explicando claramente como as LLMs podem ser aplicadas com base em suas capacidades específicas, juntamente com os métodos de avaliação em cada etapa. A habilidade central refere-se às capacidades que as LLMs precisam para gerar textos de alta qualidade em linguagem natural. Após confirmar que as LLMs possuem habilidade central, elas podem resolver tarefas complexas e do mundo real como agentes. Na etapa de ``habilidade central'', discutimos a capacidade de raciocínio, impacto social e conhecimento do domínio das LLMs. Na etapa de ``agente'', demonstramos ação incorporada, planejamento e aprendizado de ferramentas nas aplicações de agentes LLM. Finalmente, examinamos os desafios que atualmente confrontam os métodos de avaliação das LLMs, bem como as direções para o desenvolvimento futuro.