LLMs mit Retrieval Augmented Generation
KI-Sprachmodelle wie ChatGPT nutzen beim Beantworten von Prompts nur die Daten und Dokumente, mit denen man sie trainiert hat. Mit Retrieval Augmented Generation (RAG) ist die KI in der Lage, auch andere Datenquellen anzuzapfen.
Beim Einsatz von KI-Chatbots im Unternehmen sollen die großen Sprachmodelle (LLM) auch organisationseigenes Wissen bereitstellen. Um ein vortrainiertes LLM um interne Daten und Dokumentation zu erweitern, bietet sich ein Feintuning für den konkreten Anwendungsfall an. Dabei lassen sich interne Daten integrieren, allerdings können diese Daten nur durch ein zeitaufwendiges erneutes Training aktualisiert werden. Zudem sind nicht alle Datensätze für eine Feinabstimmung geeignet und die Qualität der Ergebnisse variiert dementsprechend mit der Qualität, aber auch der Größe der Datensätze.
Eine vielversprechende Alternative, einem LLM zusätzliche aktuelle und interne Informationen für die Beantwortung von Fragen zur Verfügung zu stellen, ist Retrieval Augmented Generation (RAG). Das Grundprinzip von RAG ist, eine externe Datenquelle an ein bestehendes LLM anzubinden. Wann immer Nutzer Fragen stellen, vergleicht ein System die Anfrage mit der Datenquelle in einer Vektordatenbank und stellt dem LLM relevante Inhalte für das Beantworten als Kontext zur Verfügung.