Was ist RAG? Brauchst du noch ein RAG-System?

RAG heißt: Die KI schaut erst in euren Unterlagen nach und antwortet dann. Ohne RAG antwortet sie aus ihrem allgemeinen Training und rät bei allem, was nur in eurer Firma steht. Vor zwei Jahren war das ein Thema für Entwickler. Heute fragen Geschäftsführer, ob sie ein RAG-System brauchen. Gleichzeitig hat sich die Technik so schnell verändert, dass die ehrliche Antwort nicht mehr automatisch Ja lautet.

Was ist RAG? Einfach erklärt

RAG steht für Retrieval Augmented Generation. Auf Deutsch: Die Antwort wird mit gezielt herausgesuchten Infos angereichert.

Stell dir eine Prüfung vor. Ohne Spickzettel schreibt die KI auf, was ihr plausibel erscheint. Mit Spickzettel schlägt sie nach und antwortet mit dem, was dort steht. RAG ist der Mechanismus, der für jede Frage den passenden Spickzettel heraussucht: aus euren Handbüchern, Verträgen, Tickets oder dem Wiki.

Der Ablauf hat drei Schritte. Jemand stellt eine Frage. Das System sucht in euren Dokumenten die Abschnitte, die dazu passen. Die KI bekommt Frage und Abschnitte zusammen und formuliert daraus die Antwort, im besten Fall mit Quelle.

Wofür brauchst du ein RAG-System im Unternehmen?

Das klassische Beispiel ist die interne Wissensdatenbank. Eine neue Kollegin fragt: „Wie läuft bei uns eine Reklamation ab?“ Statt drei Leute zu fragen oder im Wiki zu suchen, bekommt sie die Antwort aus dem aktuellen Prozessdokument, mit Link darauf.

Dasselbe Prinzip steckt hinter einem RAG-Chatbot im Support, der Kundenfragen aus euren Produktunterlagen beantwortet. Oder hinter einer Vertragsprüfung, die neue Verträge mit euren Standardklauseln vergleicht. Überall gilt: Die KI kennt euer Wissen nicht von selbst. Sie muss es im richtigen Moment bekommen.

Passt nicht einfach alles ins Kontextfenster?

Vor zwei Jahren war die Antwort noch klar Nein. Heute verarbeiten aktuelle Modelle wie Claude bis zu eine Million Tokens in einer Anfrage (Anthropic, Stand November 2026 (öffnet in neuem Tab)). Das sind etliche Handbücher auf einmal.

Für ein paar Dokumente reicht das tatsächlich. Dann brauchst du kein RAG-System und lädst die Unterlagen direkt hoch. Bei einem echten Firmenbestand stößt das schnell an Grenzen:

• Tausende Dokumente passen trotzdem nicht in ein Fenster.
• Jede Anfrage mit riesigem Kontext kostet Geld und dauert länger.
• Modelle überlesen Details, die mitten in einem langen Text stehen. Forscher aus Stanford haben das als „Lost in the Middle“ beschrieben (Liu et al., TACL 2024 (öffnet in neuem Tab)), Anthropic selbst warnt vor nachlassender Genauigkeit bei sehr langem Kontext.
• Zugriffsrechte gehen verloren. Wer alles in den Kontext kippt, zeigt der KI auch das, was der Fragende gar nicht sehen darf.

Das eigentliche Problem ist nicht die Technik, es sind eure Daten

Viele denken bei RAG: viel hilft viel. Also alles rein, was es an Dokumenten gibt. Genau das geht schief.

Ein typischer Fall: Ein Unternehmen will 3.000 PDFs an die KI anbinden. Handbücher, Richtlinien, Produktblätter, über Jahre gewachsen. Meine erste Frage war nicht, welche Datenbank es werden soll. Sie war: Wer kann einschätzen, welche dieser Inhalte heute noch aktuell sind? Die Antwort kannst du dir denken.

Wenn drei Versionen derselben Richtlinie im Bestand liegen, findet die Suche alle drei. Die KI antwortet dann mit der veralteten, und zwar überzeugend und mit Quelle. Garbage in, Halluzination out.

Datenaufbereitung heißt deshalb:

• Veraltetes aussortieren und Dubletten entfernen
• festlegen, welche Quelle bei Widersprüchen gilt
• Zugriffsrechte klären, bevor die KI etwas sieht
• jemanden benennen, der für ein Themengebiet verantwortlich ist

Das ist keine Technikaufgabe. Es ist Arbeit an eurem Wissen, und sie entscheidet mehr über die Qualität der Antworten als jedes Modell.

RAG vs. Fine-Tuning vs. Wissensdatenbank

Diese drei Begriffe fallen oft im selben Satz, lösen aber verschiedene Probleme.

Die Faustregel: Fine-Tuning ändert, wie die KI schreibt. RAG ändert, was sie weiß. Für Firmenwissen ist Fine-Tuning fast nie die richtige Wahl, weil jedes neue Dokument ein neues Training braucht.

Brauchst du heute noch ein RAG-System, wenn es MCP und APIs gibt?

Das Prinzip ja, die klassische Bauweise nicht immer. Vor zwei Jahren hieß RAG fast automatisch: Dokumente zerschneiden, in eine Vektordatenbank laden, eine eigene Suche bauen. Heute gibt es drei Wege.

• Kleines, stabiles Wissen: Ein Projekt in ChatGPT, Claude oder Copilot mit hochgeladenen Dokumenten reicht oft. Die Suche steckt da schon drin.
• Live-Daten aus euren Systemen: Lagerbestand, offene Tickets, Kundendaten im CRM. Hier holt sich ein KI-Agent die Infos über MCP oder eine API direkt aus dem System. Ein Dokumentenindex ist veraltet, bevor er fertig ist.
• Großer, gemischter Dokumentenbestand mit Rechten: Hier lohnt ein eigenes RAG-System, angebunden an eure Ablagen und Berechtigungen.

In der Praxis ist es oft eine Mischung. Welche, hängt vom Anwendungsfall und von euren Systemen ab. Wichtiger als die Wahl der Technik ist ein anderer Punkt: Es braucht einen Kreislauf, der das Wissen besser macht. Fällt jemandem eine falsche Antwort auf, meldet er das mit einem Klick. Jemand prüft die Quelle, korrigiert oder entfernt sie, und die nächste Antwort stimmt. Ohne diesen Feedback-Loop wird ein RAG-System mit jedem Monat schlechter, weil die Welt sich ändert und die Dokumente nicht.

Wann sich ein RAG-Setup lohnt

Wenn du KI in echte Prozesse bringen willst, also Support, interne Wissensdatenbank oder Vertragsprüfung, kommst du um das Prinzip nicht herum. Die KI braucht im richtigen Moment das richtige Wissen. Wie das technisch gebaut wird, ist die zweite Frage.

Ein gutes RAG-Setup gibt es nicht von der Stange. Es ist Systemintegration: eure Ablagen, eure Rechte, eure Prozesse und ein Weg, das Wissen aktuell zu halten. Genau da setzen wir mit unserer KI-Beratung an. Keine klassische Beratung mit Folien. Wir schauen auf eure Daten, sagen dir, welcher Weg passt, und bauen ihn.