„Können wir ein ChatGPT haben, das unsere Produkte, Richtlinien und Dokumentationen kennt?“ Es ist eine der häufigsten Fragen, die Unternehmen über KI stellen. Die Antwort ist ja, aber normalerweise nicht durch das „Trainieren“ eines Modells. Der Standardansatz ist retrieval-augmented generation (RAG).
Dieser Leitfaden erklärt, wie RAG funktioniert, wie man Schritt für Schritt einen Chatbot auf eigenen Daten erstellt und die Fehler, die viele dieser Projekte enttäuschend machen.
Training vs RAG: was ist der Unterschied?
Feinabstimmung (Training) verändert das Verhalten des Modells, indem es ihm viele Beispiele zeigt. Es ist gut für Stil, Format und spezialisierte Aufgaben. Es ist jedoch keine gute Methode, um Fakten zu lehren, die sich ändern: Preise, Aktien, Richtlinien, Dokumentationen.
RAG hält Ihre Informationen außerhalb des Modells. Wenn ein Benutzer eine Frage stellt:
- Das System durchsucht Ihren Inhalt nach den relevantesten Passagen
- Es gibt diese Passagen zusammen mit der Frage an das Sprachmodell.
- Das Modell schreibt eine Antwort basierend auf diesen Passagen, idealerweise mit Quellenangaben
Vorteile von RAG:
- Inhalt aktualisieren, ohne neu zu trainieren
- Antworten können Quellen zitieren
- Sie kontrollieren, welche Informationen verfügbar sind.
- In der Regel viel günstiger und schneller zu bauen
Für die meisten Geschäftschatbots ist RAG der richtige Ausgangspunkt.
Die Architektur eines RAG-Chatbots
| Komponente | Was es tut |
|---|---|
| Datenquellen | Hilfezentrum, PDFs, Produktdaten, Richtlinien, interne Wikis |
| Ingestion-Pipeline | Lädt, bereinigt und teilt Inhalte in Abschnitte auf |
| Embedding-Modell | Wandelt jeden Abschnitt in einen Vektor (eine numerische Darstellung der Bedeutung) um. |
| Vektordatenbank | Speichert Vektoren und findet ähnliche schnell (zum Beispiel pgvector, Qdrant, Weaviate, Pinecone) |
Retriever |
Findet relevante Abschnitte für eine Frage, oft durch Kombination von Vektor- und Schlüsselwortsuche |
| Sprachmodell | Schreibt die Antwort aus dem abgerufenen Kontext |
| Werkzeuge / APIs | Live-Daten abrufen (Bestellungen, Lagerbestand, Kontoinformationen) |
| Schnittstelle | Website-Chat, Helpdesk, Slack, internes Tool |
Schritt 1: Definieren Sie den Anwendungsfall
Sei spezifisch. „Ein Chatbot für alles“ scheitert. „Beantworte Kundenfragen zu Versand, Rücksendungen und Produktkompatibilität auf Niederländisch und Englisch“ hat Erfolg. Definiere, was er beantworten soll, was er niemals beantworten darf und wann er an einen Menschen übergibt.
Schritt 2: Bereiten Sie die Daten vor
Hierher stammt der Großteil der Qualität.
- Veraltete und widersprüchliche Inhalte entfernen
- Bevorzugen Sie strukturierte, klar geschriebene Quellen
- Behalten Sie Metadaten bei: Titel, URL, Sprache, Produkt, Datum
- PDFs sorgfältig konvertieren (Tabellen und Spalten brechen oft)
Schritt 3: Chunking
Lange Dokumente werden in kleinere Abschnitte unterteilt. Zu klein und der Kontext geht verloren; zu groß und die Abrufgenauigkeit wird ungenau. Teilen Sie nach Überschriften und Abschnitten, wo immer möglich, und fügen Sie den Dokumenttitel in jeden Abschnitt ein.
Schritt 4: Abruf
Reine Vektorsuche ist gut im Verständnis von Bedeutungen, aber schwach bei genauen Begriffen wie Produktcodes und Fehlermeldungen. Hybridsuche (Vektor + Schlüsselwort) plus einen Reranking-Schritt liefert in der Regel viel bessere Ergebnisse. Filtern Sie nach Metadaten, zum Beispiel Sprache oder Produktlinie, bevor Sie suchen.
Schritt 5: Eingabeaufforderung und Leitplanken
Weisen Sie das Modell an:
- Bitte geben Sie den HTML-Fragment an, den Sie übersetzen möchten.
- Sagen Sie klar, wenn es nicht weiß.
- Quellen angeben
- Bleiben Sie innerhalb seines Umfangs und Tons
Schritt 6: Werkzeuge für Live-Daten hinzufügen
Für Fragen wie „Wo ist meine Bestellung?“ sind Dokumente nicht ausreichend. Geben Sie dem Assistenten Werkzeuge (Funktionsaufrufe), die Ihre APIs mit strenger Authentifizierung und Berechtigungen aufrufen. Standards wie das Model Context Protocol (MCP) erleichtern die Verbindung von Werkzeugen; ich habe über MCP im Jahr 2026 geschrieben.
Schritt 7: Bewerten vor dem Start
Erstellen Sie ein Testset mit realen Fragen und den erwarteten Antworten. Messen:
- Hat die Abfrage die richtige Quelle gefunden?
- Ist die Antwort korrekt und vollständig?
- Hat es korrekt abgelehnt, als es sollte?
Führen Sie diesen Test nach jeder Änderung durch. Ohne Bewertung raten Sie nur.
Schritt 8: Starten und verbessern
Protokollieren Sie Gespräche (unter Berücksichtigung der Privatsphäre), überprüfen Sie wöchentlich die Fehler und beheben Sie den Quellinhalt. Die meisten Verbesserungen resultieren aus besseren Daten, nicht aus einem größeren Modell.
Häufige Fehler
- Alle Dokumente ohne Bereinigung dumpen. Widersprüchliche Quellen liefern widersprüchliche Antworten.
- Keine Bewertung. Die Qualität wird anhand einiger Demofragen beurteilt.
- Keine Übergabe. Benutzer bleiben stecken, wenn der Bot nicht weiß.
- Ignorieren von Berechtigungen. Interne Dokumente sind für Kunden verfügbar.
- Nur Vektorsuche. Exakte Produktcodes und -namen fehlen.
Kosten
Kosten kommen von:
- Entwicklung und Datenaufbereitung (in der Regel der größte Teil)
- Nutzung des Sprachmodells pro Konversation
- Einbettungen (hauptsächlich einmalig, plus Aktualisierungen)
- Hosting der Vektordatenbank und Anwendung
Die Preise für Modelle sind im Laufe der Zeit erheblich gesunken, und die Wahl eines kleineren Modells für einfache Fragen hält die Betriebskosten niedrig.
Datenschutz und Sicherheit
- Wählen Sie KI-Anbieter mit geeigneten Datenverarbeitungsvereinbarungen
- Senden Sie keine unnötigen persönlichen Daten an das Modell.
- Schützen Sie sich vor Eingabeinjektionen, insbesondere wenn der Bot Werkzeuge verwenden kann.
- Informieren Sie die Benutzer, dass sie mit einer KI sprechen.
Häufig gestellte Fragen
Kann ich meine Dokumente einfach in ChatGPT hochladen?
Für persönliche oder kleine interne Anwendungen können die integrierten Datei-Funktionen ausreichend sein. Für den Einsatz gegenüber Kunden mit Live-Daten, Zugriffskontrolle, Branding und Auswertung ist eine maßgeschneiderte RAG-Lösung zuverlässiger.
Brauche ich eine Vektordatenbank?
Für kleine Wissensdatenbanken reicht oft eine Datenbankerweiterung wie pgvector aus. Dedizierte Vektordatenbanken helfen bei größerem Maßstab.
Wie genau sind RAG-Chatbots?
Mit guten Daten, hybrider Retrieval, Bewertung und klaren Grenzen können sie innerhalb ihres Rahmens sehr zuverlässig sein. Die Genauigkeit sinkt schnell außerhalb des Rahmens, weshalb die Übergabe wichtig ist.
Möchten Sie einen Chatbot, der Ihr Geschäft wirklich versteht?
Ich entwerfe und baue RAG-Assistenten und KI-Integrationen auf Ihren eigenen Daten, von Kundenservice bis hin zu internem Wissen. Sehen Sie sich meinen KI-Integrationsservice an oder fordern Sie eine Beratung an.