Les modèles de langage de grande taille (LLM) alimentent une nouvelle vague d'applications basées sur le langage, y compris des applications de base de données, entraînant de nouvelles techniques et systèmes pour gérer les énormes besoins en calcul et en mémoire des LLM, couplés aux avancées dans le matériel informatique. Dans ce tutoriel, nous examinons comment ces techniques réduisent les coûts d'inférence en gérant les cycles de vie des demandes incertains, en exploitant du matériel spécialisé et en s'échelonnant sur des dispositifs d'inférence distribués et des machines. Nous présentons ces techniques du point de vue de la base de données sur le traitement des demandes, l'exécution du modèle et l'optimisation, ainsi que la gestion de la mémoire. À la suite de cette discussion, nous examinons comment les systèmes d'inférence combinent ces techniques dans des architectures diverses pour atteindre des objectifs d'application ou de performance.
Pan et al. (Fri,) ont étudié cette question.