Aufbau und Betrieb von „Conviro“: Die Arbeit rund um das Modell

Technische Erkenntnisse aus der Entwicklung von „Conviro“: Mietergrenzen, Abfragequalität, Anbieter-Routing, Tool-Berechtigungen und Betriebsverantwortung.

Conviro ist die KI-basierte Kundensupport-Plattform, die ich als einziger Entwickler konzipiert, aufgebaut und betreibe. Sie vereint Web-Chat, WhatsApp und Instagram in einem gemeinsamen Support-Workflow, ergänzt durch eine Wissensdatenbank, KI-Unterstützung und die Weiterleitung an einen Mitarbeiter.

Zu meinem Aufgabenbereich gehören das Backend, Integrationen, die Bereitstellung sowie das Verhalten, das Kunden nach einer Veröffentlichung erleben. Das hat meine Sichtweise auf das System geprägt: Eine überzeugende Antwort ist nur ein Teil einer erfolgreichen Support-Interaktion.

Ein Gespräch überschreitet mehrere Grenzen

Eine eingehende Nachricht gehört zu einem Mandanten und einem Kanal. Sie muss zuverlässig angenommen, der richtigen Konversation zugeordnet und gemäß den Berechtigungen und Nutzungsrichtlinien dieses Mandanten verarbeitet werden.

Ist KI beteiligt, durchläuft die Anfrage die Phasen Abruf, Modellweiterleitung, Antwortvalidierung und Zustellung. Jede dieser Phasen kann unabhängig von den anderen fehlschlagen. Ein Anbieter kann nicht erreichbar sein, während der Posteingang einwandfrei funktioniert. Eine Quelle kann irrelevant sein, während das Modell selbst erfolgreich antwortet.

Daher behalte ich diese Zustände in der Architektur sichtbar bei. Eine empfangene Nachricht, eine generierte Antwort und eine zugestellte Antwort sind separate Fakten. Würde man sie als einen einzigen Status behandeln, würden die Informationen verborgen bleiben, die zur Wiederherstellung einer unterbrochenen Konversation erforderlich sind.

Die Qualität der Suchergebnisse beeinflusst die Antwort stärker als eine ausgefeilte Formulierung.

Conviro nutzt PostgreSQL und pgvector für die hybride Suche, wobei eine Dense-Search-Methode mit Volltextsignalen und einer Neugewichtung der Ergebnisse kombiniert wird. Ziel ist es, aussagekräftige Belege über Wortlauts- und Sprachunterschiede hinweg zu finden, wie sie in realen Support-Gesprächen vorkommen.

Außerdem habe ich einen Validator zur nachträglichen Überprüfung der Plausibilität entwickelt, der konkrete Angaben wie Links, Preise, Produktkennungen und Garantiebedingungen überprüft. Der Validator gleicht die Angaben mit den abgerufenen Daten ab und wendet strengere Kriterien an, wenn nicht belegte kommerzielle Informationen einen Kunden irreführen könnten.

Diese Prüfungen haben ihre Grenzen. Ein Validierungsprogramm kann einen semantischen Fehler übersehen, und eine veraltete Quelle kann konsistent reproduziert werden. Ich setze neben der Validierung auch Testfälle und Quellcodeverwaltung ein; keine einzelne Komponente beweist, dass jede Antwort korrekt ist.

Flexibilität der Anbieter erfordert eine einheitliche Strategie

Die LLM-Schicht unterstützt mehrere Anbieter über einen gemeinsamen Adaptervertrag. Bei der Weiterleitung werden die Aufgabe, der Qualitätsmodus und die konfigurierte Datenregion berücksichtigt, wobei bei Ausfällen von Anbietern ein Fallback-Verhalten und Circuit Breaker zum Einsatz kommen.

Eine konkrete Grenze war so wichtig, dass sie geändert wurde: Der interne Assistent erhielt einen eigenen Schutzschalter, damit seine Ausfälle nicht unnötigerweise den Kunden-Chat lahmlegen. Das ist genau die Art von Detail, die zum Vorschein kommt, wenn das System als Produkt betrieben und nicht nur als einzelne Anfrage demonstriert wird.

Neben dem Routing spielen auch die Verbrauchsabrechnung und die Mandantenbudgets eine Rolle. Ein Fallback sollte die Richtlinien und Ausgabenbeschränkungen des Kunden wahren. Zuverlässigkeit bedeutet nicht, dass Anbieter ungeachtet dieser Beschränkungen weiterhin angerufen werden.

Der Einsatz von Werkzeugen macht die Autorisierung zu einem Bestandteil des KI-Pfads

Der Support-Copilot plant eine Entscheidung als strukturierten Entscheidungsprozess: ein Tool verwenden, antworten, um Klarstellung bitten oder ablehnen. Tools enthalten Informationen zu Berechtigungen und Risiken, und die Ausführung wird auf dem Server entsprechend der Rolle des Benutzers autorisiert.

Der anfängliche Ausführungsumfang ist schreibgeschützt. Die Ergebnisse der Tools werden geschwärzt, bevor sie das Modell erreichen, und der Durchlauf unterliegt einem begrenzten Budget sowie einem Prüfpfad. Dank dieser Einschränkungen behält die Anwendung die Kontrolle, selbst wenn der Planer eine ungeeignete Maßnahme vorschlägt.

Bei der asynchronen Verarbeitung decken transaktionale Ausgangs-Datensätze, die erneute Zustellung durch den Broker, idempotente Verbraucher und die Behandlung von „Dead Letters“ verschiedene Aspekte des Zustellungslebenszyklus ab. Ich verlasse mich nicht allein auf eine Warteschlange, um die Wiederholbarkeit eines Geschäftsvorgangs sicher zu gewährleisten.

Die Verantwortung bleibt auch nach der Erstellung des Codes bestehen

Schon allein der Aufbau der Plattform sorgt für besondere Klarheit im Betrieb. Wenn etwas fehlschlägt, muss ich feststellen, welcher Mandant und welche Anfrage betroffen waren, in welcher Phase der Fehler aufgetreten ist, ob externe Aktionen abgeschlossen wurden und welche Wiederherstellungsmaßnahme sicher ist.

Ich führe Überprüfungen im Produktions-Router und im Validierungspfad durch, pflege Regressionsprüfungen und integriere das Deployment- und Rollback-Verhalten in die technische Arbeit. Die Anwendung ist eine Kombination aus Modellverhalten und gewöhnlichen Softwaregrenzen; beides erfordert Aufmerksamkeit.

Weitere Informationen zum Produkt finden Sie unter useconviro.com. Die technischen Fragen, mit denen ich mich weiterhin beschäftige, sind praktischer Natur: Wie lassen sich Unsicherheiten aufzeigen, wie lässt sich sinnvolle Autonomie gewähren und wie lässt sich ein sicherer Wiederherstellungsvorgang gewährleisten, wenn eine Abhängigkeit oder eine Annahme versagt?

Aktualisiert am 25. September 2026.