Wie wissen Sie das? Generative Sprachmodelle darauf trainieren, Antworten auf biomedizinische Fragen zu referenzieren

Große Sprachmodelle (LLMs) sind kürzlich zur führenden Quelle für Antworten auf die Fragen der Nutzer im Internet geworden. Trotz ihrer Fähigkeit, eloquente Antworten zu bieten, kann ihre Genauigkeit und Zuverlässigkeit eine erhebliche Herausforderung darstellen. Dies gilt insbesondere für empfindliche Bereiche wie die Biomedizin, wo ein höherer Bedarf an faktisch korrekten Antworten besteht. Dieses Papier stellt ein biomedizinisches retrieval-augmentiertes Generationssystem (RAG) vor, das dazu entwickelt wurde, die Zuverlässigkeit der generierten Antworten zu verbessern. Das System basiert auf einem feinabgestimmten LLM für das referenzierte Fragen-Antworten, bei dem relevante Abstracts von PubMed als Eingabe über einen Prompt in den Kontext des LLM übergeben werden. Die Ausgabe ist eine Antwort basierend auf PubMed-Abstracts, wobei jede Aussage entsprechend referenziert wird, sodass die Nutzer die Antwort überprüfen können. Unser Retrieversystem erzielt eine absolute Verbesserung von 23 % im Vergleich zur PubMed-Suchmaschine. Basierend auf der manuellen Bewertung einer kleinen Stichprobe erzielt unsere feinabgestimmte LLM-Komponente vergleichbare Ergebnisse mit GPT-4 Turbo in der Referenzierung relevanter Abstracts. Wir stellen den Datensatz, der zur Feinabstimmung der Modelle verwendet wurde, und die feinabgestimmten Modelle basierend auf Mistral-7B-instruct-v0.1 und v0.2 der Öffentlichkeit zur Verfügung.