Was ist ein RAG-System, und wann brauchen Sie eines?
RAG (Retrieval Augmented Generation) bedeutet: Das Sprachmodell antwortet nicht aus dem Trainingsgedächtnis, sondern sucht zuerst in Ihren eigenen Dokumenten und formuliert die Antwort aus den gefundenen Stellen, mit Quellenangabe. Sinnvoll wird das, sobald das relevante Wissen in mehreren hundert Dateien liegt und jede Auskunft belegbar sein muss.
Ohne diese Suchschicht hat ein Sprachmodell zwei Grenzen, die im Unternehmenseinsatz teuer werden. Es kennt nur, was bis zum Trainingsstichtag vorlag. Und wenn es die Antwort nicht kennt, erfindet es eine: sprachlich sauber, inhaltlich falsch. Bei einer Auskunft an einen Kunden ist das ein Haftungsthema.
Der deutsche Markt steht dabei an einer bemerkenswerten Stelle. Nach der Bitkom-Erhebung vom 11.03.2026 (604 Unternehmen ab 20 Beschäftigten, repräsentative Telefonbefragung) setzen 41 Prozent der Unternehmen KI ein, ein Jahr zuvor waren es 17 Prozent. Als größte externe Hürde nennen 77 Prozent den Datenschutz. Das ifo Institut meldet am 05.06.2026 den ergänzenden Befund, dass nur 18,7 Prozent der Unternehmen eigene KI-Systeme entwickeln und rund drei Viertel fertige Angebote einkaufen. Eine RAG-Wissensdatenbank liegt dazwischen: eigener Aufbau auf fremden Bausteinen, mit Ihren Daten im Zentrum.
Wie kommen Ihre Dokumente in die Wissensdatenbank?
Über drei Schritte, die einmal je Dokument laufen: laden, in Abschnitte schneiden, in Vektoren umrechnen und ablegen. Der Ablauf lautet Dokument → Chunking → Embedding → Vektordatenbank. Was im späteren Betrieb an Trefferqualität fehlt, wurde meist in diesen drei Schritten verschenkt.
Typische Quellen sind PDF-Richtlinien und Verträge, das Help-Center, Confluence- oder Notion-Seiten, alte Support-Tickets und ausgewählte Postfächer. Jede Quelle braucht ihren eigenen Loader. LangChain und LlamaIndex bringen die meisten davon mit, sodass an dieser Stelle selten eigener Code entsteht.
Chunking: hier entscheidet sich die Qualität
Das Kontextfenster ist endlich, und die Trefferquote bricht ein, wenn Sie große Textblöcke am Stück ablegen. Deshalb wird geschnitten. Die Schnittstrategie beeinflusst das Ergebnis mindestens so stark wie die Wahl des Embedding-Modells, was in Projekten regelmäßig unterschätzt wird.
| Strategie | Verfahren | Wann sie passt |
|---|---|---|
| Feste Größe | 512 Token, 10 bis 20 Prozent Überlappung | Allgemeiner Start, guter Ausgangspunkt |
| Semantisch | Sätze nach Ähnlichkeit gruppiert | Dokumente mit gemischtem Inhalt |
| Rekursiv | Kapitel, dann Absatz, dann Satz | Strukturierte Handbücher und Normtexte |
| Agentisch | Ein Modell bestimmt die Schnittpunkte | Heterogene, schwer normierbare Korpora |
| Late Chunking | Erst das ganze Dokument einbetten, dann teilen | Kontextabhängige Inhalte |
Embedding: eine Entscheidung mit langer Bindung
Jeder Abschnitt wird von einem Embedding-Modell in einen Vektor umgerechnet, also in eine numerische Darstellung seiner Bedeutung. Inhaltlich ähnliche Texte landen dabei nah beieinander. Verbreitete Modelle 2026 sind OpenAI text-embedding-3-small und -large, Cohere Embed v4, Voyage AI voyage-3-large sowie auf der offenen Seite BGE-M3 und Qwen3-Embedding. Veröffentlichte MTEB-Ranglisten helfen bei der Vorauswahl, ersetzen aber keine Messung auf Ihrem eigenen Korpus. Die Werte der Version v2 sind mit denen der Vorgängerversion nicht direkt vergleichbar.
Zur Größenordnung, aus Sekundärquellen und deshalb mit Vorbehalt: Bei einer Produktionslast von 100 Millionen Token pro Tag liegt text-embedding-3-large bei etwa 13.000 USD im Monat, ein selbst betriebenes BGE-M3 bei etwa 500 USD. Der Umschlagpunkt liegt grob bei 5 bis 10 Millionen Token pro Tag. Unterhalb davon ist die API in aller Regel die ruhigere Wahl.
Welche Vektordatenbank passt zu Ihrem Fall?
Die Antwort hängt an zwei Fragen: Wollen Sie Infrastruktur betreiben, und brauchen Sie hybride Suche im Kern? Für Selbstbetrieb mit strengen Datenschutzvorgaben ist Qdrant die naheliegende Wahl, für den Weg ohne eigene Server Pinecone. Läuft bereits PostgreSQL, sparen Sie mit pgvector ein ganzes System.
| System | Typ | Stärke | Wann sinnvoll |
|---|---|---|---|
| Qdrant | Open Source, Anbieter in Berlin | Tempo, Filterung, Selbstbetrieb | Wenn die Daten im eigenen Rechenzentrum bleiben |
| Pinecone | Verwalteter Dienst | Skalierung ohne eigenen Betrieb | Wenn kein Team für Infrastruktur da ist |
| Weaviate | Open Source | Hybride Suche im Kern | Wenn Stichwort und Bedeutung zusammen zählen |
| pgvector | PostgreSQL-Erweiterung | Kein zusätzliches System | Wenn PostgreSQL ohnehin betrieben wird |
| ChromaDB | Open Source | Schneller Einstieg | Prototyp, kleiner bis mittlerer Bestand |
| Milvus | Open Source | Sehr große Bestände | Konzernweite Korpora |
Für den deutschen Beschaffungsprozess ist ein Detail relevant, das in technischen Vergleichen selten auftaucht: Hinter Qdrant steht die Qdrant Solutions GmbH mit Sitz in Berlin. Das verkürzt die Kette der Auftragsverarbeiter und erspart Ihnen bei der verwalteten Variante die Diskussion über Drittlandtransfer. Wer ohnehin selbst hostet, hat diese Frage bereits gelöst.
Wie viel bringen hybride Suche und Reranking?
Sie senken die Fehlerquote beim Abruf um zwei Drittel. Anthropic hat das 2024 gemessen und die Zahlen veröffentlicht: von 5,7 Prozent Fehlgriffen auf 1,9 Prozent, in drei Stufen. Das ist die belastbarste öffentlich dokumentierte Wirkung, die wir zu diesem Thema kennen.
| Ausbaustufe | Fehlerquote beim Abruf | Verbesserung |
|---|---|---|
| Einfaches Embedding (Basis) | 5,7 % | - |
| Kontextualisierte Embeddings | 3,7 % | −35 % |
| Zusätzlich kontextualisiertes BM25 | 2,9 % | −49 % |
| Zusätzlich Reranking | 1,9 % | −67 % |
Reine Vektorsuche findet Bedeutung, keine exakten Zeichenketten. Fragt jemand nach Art. 17 DSGVO oder nach einer Artikelnummer, greift die Stichwortsuche nach BM25 genau dort, wo das Embedding unscharf wird. Beide Ergebnislisten werden mit Reciprocal Rank Fusion zusammengeführt. Weaviate und Qdrant unterstützen das nativ.
Für deutschsprachige Korpora halten wir hybride Suche für Pflicht, und zwar aus einem sprachlichen Grund: Komposita wie Auftragsverarbeitungsvertrag oder Rechnungsprüfungsworkflow zerfallen in der Tokenisierung anders als englische Wortfolgen, und die Flexion verschiebt die Oberflächenform. Das ist unsere Projekterfahrung, kein gemessener Benchmark. Deshalb legen wir bei deutschen Beständen früh einen eigenen Fragensatz an und messen darauf, statt einer globalen Rangliste zu vertrauen.
Für Fragen, die über mehrere Dokumente hinweg verknüpft werden müssen, kommt GraphRAG ins Spiel. Eine Arbeit vom April 2026 (arXiv 2604.09666) zeigt, dass agentische, mehrrundige Suche den Abstand zu GraphRAG deutlich verkleinert, GraphRAG bei echtem Multi-Hop-Schließen aber vorn bleibt. Die beiden Ansätze ergänzen sich, sie ersetzen einander nicht.
Wie sieht ein Aufbau für 200 Mitarbeiter aus?
Konkret: rund 500 interne Dokumente, ein Confluence-Wiki mit etwa 300 Seiten, mehrere tausend alte Support-Tickets, dazu ein ausgewähltes Postfach. Darauf ein Qdrant im Container, Embeddings über eine API, hybride Suche, Reranker, und ein Modell für die Antwort. Diese Konstellation bauen wir am häufigsten.
Confluence-API + PDF-Bestand + Support-Tickets
↓
Chunking (512 Token, 10 % Überlappung)
↓
Embedding
↓
Qdrant (Container, EU-Hosting)
↓
Hybride Suche (Vektor + BM25)
↓
Reranking
↓
Antwort durch das Sprachmodell
↓
Antwort mit QuellenangabeDie laufenden Kosten dieses Aufbaus sind überschaubar. Die folgende Rechnung ist unsere eigene Kalkulation auf Basis der offiziellen Preislisten, kein Angebot.
| Posten | USD je Monat | EUR je Monat |
|---|---|---|
| Qdrant auf einem VPS | 30 bis 50 | 26 bis 43 |
| Embedding-API (500 Dokumente) | 10 bis 30 | 9 bis 26 |
| Modellaufrufe (100 bis 500 Fragen am Tag) | 50 bis 200 | 43 bis 173 |
| Summe | 90 bis 280 | 78 bis 242 |
Bei den Modellaufrufen lohnt ein Blick in die Preisliste. Claude Sonnet 5 kostet nach Anthropics offizieller Übersicht 2 USD je Million Eingabe-Token und 10 USD je Million Ausgabe-Token, Haiku 4.5 liegt bei 1 und 5 USD. Die Batch-API halbiert beide Seiten, ein Cache-Treffer kostet 10 Prozent des Eingabepreises. Bei Wissensdatenbanken mit stark wiederkehrenden Kontexten ist Caching der wirksamste Kostenhebel.
−67 %
Fehlgriffe beim Abruf durch hybride Suche und Reranking
Anthropic, 19.09.2024
78 – 242 EUR
Betrieb je Monat, Wissensdatenbank für 200 Nutzer
eigene Kalkulation
77 %
deutscher Unternehmen nennen Datenschutz als größte KI-Hürde
Bitkom, 11.03.2026
Für den Aufbau selbst gilt unsere veröffentlichte Preisspanne: ein RAG-Wissensdatenbanksystem liegt bei 3.000.000 bis 8.000.000 Ft, also rund 8.300 bis 22.000 EUR, bei zwei bis vier Monaten Laufzeit. Ein einfacher Chatbot auf einer einzelnen Wissensbasis beginnt bei 1.000.000 Ft, rund 2.800 EUR. Enthalten sind die Dokumentenübernahme, die Vektorsuche, Zugriffsrechte je Nutzergruppe, ein Auswertungs-Dashboard und die Quellenangaben in der Antwort.
Woran messen Sie, ob die Wissensdatenbank funktioniert?
An vier Kennzahlen, die Sie zusammen lesen müssen. Einzeln lässt sich jede davon schönrechnen. Grundlage ist ein Fragensatz aus echtem Verkehr, dessen Sollantworten die Fachabteilung abzeichnet, nicht die Entwicklung.
| Kennzahl | Welche Frage sie beantwortet |
|---|---|
| Quellentreue | Deckt sich die Antwort mit den abgerufenen Stellen, oder halluziniert das Modell? |
| Antwortrelevanz | Beantwortet der Text tatsächlich die gestellte Frage? |
| Kontextpräzision | Waren die abgerufenen Abschnitte überhaupt einschlägig? |
| Kontextabdeckung | Wurden alle einschlägigen Abschnitte gefunden? |
Werkzeuge wie RAGAS und LangSmith automatisieren diese Messung. Wie ein solcher Fragensatz aufgebaut wird und welche Schwellen vertraglich taugen, steht in unserem Beitrag zur Evaluation von KI-Agenten. Die Werkzeugfrage für den laufenden Betrieb behandelt der Vergleich Langfuse gegen LangSmith.
Was verlangen DSGVO und EU AI Act von einer RAG-Wissensdatenbank?
Zwei Dinge, die früh in die Architektur gehören. Erstens einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO mit jedem Dienst, der Ihre Inhalte verarbeitet, mit zehn Pflichtinhalten von der Weisungsbindung bis zur Löschung nach Vertragsende. Zweitens die Transparenzpflicht des EU AI Act für Systeme, mit denen Menschen sprechen.
Die Pflichten aus Art. 50 AI Act gelten seit dem 02.08.2026. Ein Chatbot auf Ihrer Wissensdatenbank muss also erkennbar als Maschine auftreten, sofern das nicht ohnehin offensichtlich ist. Für Systeme, die vor diesem Datum im Markt waren, endet die Übergangsfrist zur Kennzeichnung am 02.12.2026. Die verschobenen Fristen für Hochrisikosysteme betreffen eine interne Wissenssuche in aller Regel nicht.
Beim Hosting berührt das Thema einen empfindlichen Punkt im deutschen Markt. Nach dem Bitkom Cloud Report vom 17.06.2026 (603 Unternehmen ab 20 Beschäftigten) halten 98 Prozent der Unternehmen die Herkunft des Cloud-Anbieters für relevant, 91 Prozent würden einen deutschen, 68 Prozent einen europäischen Anbieter bevorzugen, während heute 71 Prozent einen US-Anbieter nutzen. 37 Prozent würden für eine ausschließlich deutsche Datenverarbeitung sogar Nachteile in Kauf nehmen, im Vorjahr waren es 27 Prozent. Wir bauen aus Ungarn, also aus einem EU-Mitgliedstaat: kein Drittlandtransfer, keine Standardvertragsklauseln, keine Transfer-Folgenabschätzung. Wie sich das für einen Chatbot konkret umsetzen lässt, steht auf unserer Seite zu DSGVO-konformen KI-Chatbots mit EU-Hosting.
Wann sollten Sie kein RAG bauen?
Häufiger, als der Markt zugibt. Die MIT-Untersuchung Project NANDA vom Juli 2025 fand bei 95 Prozent der untersuchten Einführungen generativer KI keinen messbaren Ergebniseffekt. Dieselbe Arbeit nennt einen zweiten Wert: Projekte aus interner Fachkenntnis plus externem Partner erreichten 67 Prozent Erfolgsquote, rein intern gebaute 22 Prozent.
- Eine statische FAQ-Seite beantwortet die Frage bereits. Dann ist die Wissensdatenbank Aufwand ohne Gegenwert.
- Sie haben 10 bis 20 Dokumente. Legen Sie den Volltext in den Prompt, das ist genauer und billiger als jede Suche.
- Sie brauchen Echtzeitdaten. RAG liefert indexierte Dokumente, keinen Lagerbestand von vor zwei Minuten. Dafür brauchen Sie eine API-Anbindung und einen Agenten.
- Sie brauchen hundertprozentige Richtigkeit. RAG senkt die Halluzinationsrate, es beseitigt sie nicht. Kritische Entscheidungen bleiben bei einem Menschen.
- Ihre Daten liegen strukturiert in einer Datenbank. Dann gehört die Frage nach Text-to-SQL, nicht in einen Vektorindex.
Eine Abgrenzung geht in Gesprächen regelmäßig verloren: RAG beantwortet Fragen an einen Textbestand. Wenn Sie stattdessen Felder aus Belegen herauslösen wollen, etwa Rechnungsnummer, Betrag oder Fälligkeit, ist das Dokumentenverarbeitung mit einer anderen Architektur. Zwölf konkrete Fälle dazu stehen im Beitrag zur KI-gestützten Dokumentenverarbeitung.
Zusammenfassung und häufige Fragen
Was ist RAG, und wie unterscheidet es sich von einem reinen Sprachmodell?
RAG steht für Retrieval Augmented Generation. Das Modell durchsucht zuerst Ihre eigenen Dokumente und formuliert die Antwort aus den gefundenen Stellen, statt aus dem Trainingsgedächtnis zu schöpfen. Jede Aussage lässt sich damit auf eine Quelle zurückführen. Ein reines Sprachmodell kennt Ihre Verträge, Richtlinien und Tickets nicht und erfindet im Zweifel eine plausibel klingende Antwort.
Welche Chunk-Größe sollten wir wählen?
Beginnen Sie mit 512 Token je Abschnitt und 10 bis 20 Prozent Überlappung. Für Richtlinien, Handbücher und Ticketverläufe trägt das erstaunlich weit. Wird die Trefferqualität auf gemischten Dokumenten schlecht, wechseln Sie auf semantisches oder rekursives Schneiden. Die Schnittstrategie beeinflusst die Qualität der Suche mindestens so stark wie die Wahl des Embedding-Modells.
Welche Vektordatenbank passt für ein deutsches Unternehmen?
Qdrant, wenn Sie selbst hosten wollen. Hinter dem Projekt steht die Qdrant Solutions GmbH in Berlin, was die Kette der Auftragsverarbeiter kurz hält. pgvector, wenn ohnehin PostgreSQL läuft und kein zusätzliches System gepflegt werden soll. Weaviate für native hybride Suche, Pinecone für verwalteten Betrieb ohne eigene Infrastruktur, ChromaDB für Prototypen.
Wie viel bringt Reranking wirklich?
Anthropic hat die Fehlerquote beim Abruf von 5,7 auf 1,9 Prozent gesenkt, indem kontextualisierte Embeddings, BM25 und ein Reranker kombiniert wurden. Das sind 67 Prozent weniger Fehlgriffe. Der Reranker allein trug den Sprung von 2,9 auf 1,9 Prozent bei. Gemessen an den Zusatzkosten ist das der günstigste Qualitätsschritt im ganzen Aufbau.
Was kostet der Betrieb pro Monat?
Für eine interne Wissensdatenbank mit rund 200 Nutzern rechnen wir mit 90 bis 280 USD im Monat, umgerechnet etwa 78 bis 242 EUR. Darin stecken Qdrant auf einem VPS, die Embeddings über eine API und die Modellaufrufe für 100 bis 500 Fragen am Tag. Das bleibt deutlich unter einer halben Stelle im Support.
Brauchen wir für ein RAG-System einen AVV?
Ja, sobald personenbezogene Daten in den Korpus oder in die Anfragen geraten, und bei Tickets sowie E-Mail-Archiven passiert das praktisch immer. Art. 28 DSGVO verlangt einen Auftragsverarbeitungsvertrag mit zehn Pflichtinhalten. Prüfen Sie zusätzlich, wo das Modell rechnet: Bleibt die Verarbeitung in der EU, entfallen Standardvertragsklauseln und Transfer-Folgenabschätzung.
Können wir das Embedding-Modell später wechseln?
Technisch ja, praktisch bedeutet es die Neuberechnung des gesamten Korpus. Entscheiden Sie deshalb am Anfang bewusst. Ab etwa 5 bis 10 Millionen Token pro Tag kippt die Rechnung zugunsten eines selbst betriebenen offenen Modells, darunter ist eine API meist günstiger. Diese Schwelle stammt aus Sekundärquellen, prüfen Sie sie an Ihrem eigenen Volumen nach.
Wann sollten wir auf RAG verzichten?
Wenn eine FAQ-Seite die Frage beantwortet, wenn Sie unter 20 Dokumente haben und den Volltext direkt in den Prompt legen können, wenn Sie Echtzeitdaten brauchen, oder wenn die Daten bereits strukturiert in einer Datenbank liegen. Im letzten Fall ist Text-to-SQL billiger und exakt nachprüfbar.
Wenn Sie eine Wissensdatenbank planen, beginnen Sie mit dem Fragensatz und dem Rechtsrahmen, erst danach mit der Datenbank. Was wir in diesem Feld bauen und betreiben, steht auf der Seite zur KI-Agenten-Entwicklung. Für eine Einschätzung Ihres Bestands genügt ein Gespräch von dreißig Minuten: Angebot anfordern.
Quellen
- Anthropic: Introducing Contextual Retrieval (19.09.2024)
- Anthropic: offizielle Modellpreise (Stand 14.08.2026)
- Bitkom: Digitalisierung der Wirtschaft, 604 Unternehmen (11.03.2026)
- Bitkom Cloud Report 2026, 603 Unternehmen (17.06.2026)
- ifo Institut: KI-Nutzung in deutschen Unternehmen (05.06.2026)
- Fan, Xue, Liu, Tan: Do We Still Need GraphRAG? (arXiv 2604.09666, 01.04.2026)
- MIT Project NANDA: The GenAI Divide, State of AI in Business (07/2025)
- Art. 28 DSGVO, Auftragsverarbeiter
- EU AI Act, Art. 50 Transparenzpflichten
- Bird & Bird: Transparency Code of Practice, Geltung ab 02.08.2026
- Milvus: Auswahl des Embedding-Modells 2026 (Sekundärquelle, Kostenvergleich)
- Qdrant Solutions GmbH, Impressum (Berlin)
- MNB-Devisenkurse vom 14.08.2026 (1 EUR = 363,28 Ft, 1 USD = 314,36 Ft)