Retrieval Augmented Generation kurz definiert
RAG, kurz für Retrieval-Augmented Generation, ist ein Ansatz der generativen KI, der die Fähigkeiten großer Sprachmodelle (Large Language Models, LLMs) mit bestimmten Wissensquellen kombiniert. Dabei wird die Generierung von Texten durch ein Retrieval-System ergänzt, das relevante Informationen aus Datenbanken, Dokumenten oder anderen Quellen in Echtzeit abrufen kann. Dies ermöglicht es beispielsweise mit Dokumenten zu chatten und Antworten zu generieren, die nicht nur kontextuell relevant sind, sondern auch auf aktuellen und spezifischen Daten basieren.
Die Vorteile:
- RAG reduziert nachweislich Halluzinationen, da nur aus dem vorhandenen Content geantwortet wird.
- RAG liefert stets aktuelle Inhalte, während trainierte Modelle nur Wissen bis zu einem festen Stichtag enthalten.
- RAG ist kostengünstiger als Finetuning eines eigenen Modells inkl. der kontinuierlich notwendigen Anpassungen.
Die Umsetzung scheint einfach
Mit den heute verfügbaren Bibliotheken und Tools erscheint es für Unternehmen mit entsprechenden Ressourcen auf den ersten Blick einfach, eine eigene RAG-Lösung aufzubauen. In wenigen Wochen können ein oder zwei Entwickler ein GPT-Interface aufsetzen, OpenAI oder ein anderes Modell anbinden und einige Dokumente hochladen. Das Ergebnis funktioniert oft erstaunlich gut und sorgt initial für Begeisterung im Unternehmen. Durch diesen überschaubaren Aufwand wirkt die Lösung zunächst kostengünstig: Der User lädt ein Dokument hoch und kann damit chatten.
Nur die Spitze des Eisbergs - Der schnelle Start ist nicht das Ende der Reise
Stellt man aber höhere Ansprüche hinsichtlich Dokumentenmengen und Anbindung weiterer Datenquellen sowie hinsichtlich Ergebnisqualität und Data Governance, wird es schon schwieriger. Viele Unternehmen unterschätzen den Aufwand, der mit der Skalierung, Sicherheitsaspekten und einer hohen Qualität einer Chat-Anwendung verbunden ist. Während die ersten 80 Prozent der Funktionalität schnell erreicht sind, benötigt es für die verbleibenden 20 Prozent einen unverhältnismäßig großen Einsatz an Ressourcen – das sogenannte Paretoprinzip schlägt hier voll zu.
Herausforderungen einer selbstgebauten RAG-Lösung
- Zugriffsrechte und Sicherheit
Ein selbstgebautes RAG-System bietet initial selten eine ausgefeilte Berechtigungsstruktur. Was in der Unternehmens-IT Standard ist – etwa, dass nur berechtigte Mitarbeiter auf bestimmte Dokumente zugreifen dürfen – wird oft nicht bedacht. Unternehmen stehen dann vor der Frage: Wie gewährleiste ich die Sicherheit meiner Daten? - Anbindung und Synchronisation der Systeme
Neben der Verwaltung von Zugriffsrechten besteht der größte Aufwand darin, die Daten von Systemen wie Confluence, Microsoft SharePoint etc. an die KI anzubinden und kontinuierlich zu synchronisieren, also immer aktuell zu halten. - Verarbeitung von Dokumenten
Auch der Umgang mit den Dokumenten, damit die generative KI die erforderlichen Passagen für korrekte Antworten erkennt, ist alles andere als trivial. Wie müssen die Dokumente zerlegt werden? Wie verfährt man mit Bildern, Tabellen etc.? Nicht jede IT-Abteilung will oder kann sich damit beschäftigen. - Compliance und Governance
Welche Dokumente dürfen überhaupt in das KI-System geladen werden? Welche regulatorischen Anforderungen gelten? Unternehmen stehen vor der Herausforderung, Datenschutz- und Compliance-Vorgaben einzuhalten, die in einem schnellen Eigenbau oft nicht berücksichtigt werden. - Qualität der Ergebnisse
Die meisten RAG-Systeme nutzen Embeddings, also eine Vektorsuche, um Bedeutung und Kontext von Daten zu erfassen. Andere Methoden mit hochwertigen linguistischen Fähigkeiten und der Berücksichtigung von (Fach)-Thesauren (Ober- und Unterbegriffe, Synonyme etc.) sowie Named Entity Recognition – NER (Erkennen von Personen, Orten und anderen Entitäten) müssen erst ergänzt werden. Sie verbessern die Extraktion wichtiger Informationen und Metadaten erheblich. - Kontinuierliche Weiterentwicklung
KI-Technologien entwickeln sich rasant weiter. Neue Modelle, bessere Suchtechnologien und effizientere Embedding-Verfahren erscheinen kontinuierlich. Eine eigene Lösung aktuell zu halten, erfordert einen ständigen Entwicklungsaufwand. - Benutzerfreundlichkeit und Integration
Ein Prototyp ist schnell gebaut, aber eine vollintegrierte Unternehmenslösung, die mit bestehenden Systemen harmoniert und allen Mitarbeitern zugänglich ist, erfordert weit mehr Aufwand als anfänglich gedacht.
Fragen, die sich Unternehmen stellen sollten
Bevor IT-Abteilungen sich für den Eigenbau einer RAG-Lösung oder den Kauf eines KI-Assistenten entscheiden, sollten sie sich folgende Fragen stellen, um sicherzustellen, dass die gewählte Lösung den aktuellen und zukünftigen Anforderungen gerecht wird.
- Was ist mein Use-Case und das Ziel?
- Wie viele Dokumente sollen für Antworten oder Zusammenfassungen berücksichtigt werden?
- Welche Datenquellen möchte ich zur Beantwortung von Fragen anbinden?
- Bleibt es bei diesen Datenquellen oder sollen ggf. später noch weitere hinzukommen?
- Wie verhält es sich mit den Zugriffs- und Leserechten? Wer darf welche Informationen bekommen? Gibt es sensible Informationen?
- Können wir mit der Lösung gute Ergebnisse erzielen, mit denen alle Stakeholder im Unternehmen (Nutzende, Geschäftsleitung, Betriebsrat etc). zufrieden sind?
- Steht dieses Ergebnis in einem entsprechenden Kosten-/Nutzen-Verhältnis?
Warum "Buy" die bessere Lösung sein kann
Auch professionelle Lösungen mit KI-Assistent nutzen RAG, verfügen darüber hinaus standardmäßig noch über ganz andere Fähigkeiten.
- Einfache Integration: Unsere Lösung iFinder mit iAssistant lässt sich nahtlos in bestehende IT-Landschaften wie SharePoint, Confluence oder andere DMS integrieren, ohne dass Daten dupliziert werden müssen.
- Sichere Zugriffskontrollen: Unternehmensspezifische Zugriffsrechte werden automatisch berücksichtigt, sodass nur autorisierte Nutzer Zugriff auf relevante Daten haben.
- Compliance-Ready: Unsere Lösung berücksichtigt gesetzliche und regulatorische Vorgaben und bietet Mechanismen zur DSGVO-Konformität.
- Optimierte Ergebnisse: Durch den Einsatz bewährter ausgeklügelter Machine Learning- und linguistischer Verfahren sowie kontinuierlicher Modellverbesserung liefern wir präzise Antworten auf komplexe Anfragen.
- Zukunftssicherheit: Wir halten unsere Technologien kontinuierlich aktuell und nutzen neueste Entwicklungen in der generativen KI.
Fazit: Kosten / Nutzen abwägen
Der schnelle Eigenbau einer RAG-Lösung mag kurzfristig attraktiv erscheinen, doch komplexere Anwendungen, gehobene Qualitätsansprüche, Skalierbarkeit und Sicherheitsanforderungen erfordern im Nachhinein weitere Investitionen. Ein professionelles Standardsystem wie der iAssistant bietet eine leistungsfähige und zukunftssichere Lösung für Unternehmen, die generative KI effizient und sicher nutzen möchten. Erfahrene Service-Teams begleiten zudem KI-Projekte.
