Escalonamento de Longo Contexto Sem Treinamento de Modelos de Linguagem Grandes

A habilidade de Modelos de Linguagem Grandes (LLMs) de processar e gerar texto coerente é marcadamente enfraquecida quando o número de tokens de entrada excede seu comprimento de pré-treinamento. Dada a caríssima sobrecarga de ajustar modelos de grande escala com sequências mais longas, propomos a Atenção de Duplo Bloco (DCA), que permite que o Llama2 70B suporte janelas de contexto de mais de 100k tokens sem treinamento contínuo. Decompondo o cálculo de atenção para sequências longas em módulos baseados em blocos, a DCA consegue capturar de forma eficaz as informações positionais relativas dos tokens dentro do mesmo bloco (Intra-Bloco) e entre blocos distintos (Inter-Bloco), além de se integrar perfeitamente com a Atenção Rápida. Além de sua impressionante capacidade de extrapolação, a DCA alcança desempenho em tarefas práticas de longo contexto que é comparável ou até melhor do que o de modelos ajustados. Quando comparado com modelos proprietários, nosso modelo 70B sem treinamento atinge 94% do desempenho do gpt-3. 5-16k, indicando que é uma alternativa open-source viável. Todo o código e dados usados neste trabalho estão disponíveis em https: //github. com/HKUNLP/ChunkLlama.