Die Unterstützung mehrerer Modellanbieter klingt nach einem Adapterproblem: Die Anfrage normalisieren, eine API aufrufen und die Antwort normalisieren. Das ist zwar notwendig, lässt aber die schwierigen Produktentscheidungen unbeantwortet.
Welcher Anbieter ist für diesen Mandanten zulässig? Unterstützt er den erforderlichen Ausgabevertrag? Kann die Anfrage die konfigurierte Datengrenze überschreiten? Was soll passieren, wenn die erste Antwort zunächst gestreamt wird und dann fehlschlägt?
Beschreiben Sie die Aufgabe, bevor Sie das Modell auswählen.
Ich möchte, dass die Weiterleitung bereits bei der Aufgabe beginnt. Eine Abfrageumschreibung, eine kundenorientierte Antwort und ein Planungsschritt unter Einsatz eines Tools stellen unterschiedliche Anforderungen an Qualität, Latenz, Kontextgröße und Ausgabestruktur.
Der Antrag sollte diese Anforderungen ausdrücklich enthalten, zusammen mit den Mietbedingungen und einem Budget. Bei der Modellauswahl können dann zunächst nicht in Frage kommende Kandidaten aussortiert werden, bevor die verbleibenden Optionen verglichen werden.
Ich ziehe Funktionsprüfungen den über die gesamte Anwendung verstreuten Bedingungen anhand von Anbieternamen vor. Ein Funktionsdatensatz kann die Tool-Unterstützung, die strukturierte Ausgabe, das Streaming-Verhalten, Kontextbeschränkungen und die für diese Konfiguration überprüfte Bereitstellungsregion beschreiben.
Halten Sie den gemeinsamen Vertrag ein
Ein allgemeiner Adapter sollte das standardisieren, was die Anwendung tatsächlich benötigt. Er sollte nicht davon ausgehen, dass jeder Anbieter jede Funktion auf identische Weise implementiert.
Beispielsweise können Tool-Aufrufe während des Streamings schrittweise eintreffen. Die Nutzungsabrechnung kann zu einem anderen Zeitpunkt eintreffen als der Text. Ein Anbieter kann ein Schema ablehnen, das ein anderer akzeptiert. Der Adapter benötigt ein definiertes Verhalten für diese Unterschiede sowie Tests, die das tatsächliche Übertragungsformat abdecken.
Wenn eine Funktion nicht verfügbar ist, ziehe ich einen eindeutigen Fehler oder einen ausdrücklich genehmigten alternativen Weg vor. Das stillschweigende Aufheben einer erforderlichen Einschränkung führt zu einer Reaktion, die zwar erfolgreich erscheint, aber gegen die Aufgabenvereinbarung verstößt.
Die Ausweichlösung muss die Anspruchsberechtigung wahren
Eine Fallback-Kette sollte nur Anbieter enthalten, die für die aktuelle Anfrage zugelassen sind. Die Verfügbarkeit hat keinen Vorrang vor einer Mandanteneinschränkung, einer Regionenanforderung oder einem Ausgabenlimit.
Ich unterscheide zwischen verschiedenen Fehlerklassen. Ein vorübergehender Dienstfehler kann den Wechsel zu einem anderen Anbieter rechtfertigen. Ungültige Anmeldedaten erfordern eine Korrektur der Konfiguration. Eine ungültige Anfrage schlägt möglicherweise überall auf dieselbe Weise fehl. Eine Ablehnung muss ebenfalls gemäß den Regeln der Anwendung interpretiert werden und darf nicht automatisch als Transportfehler behandelt werden.
Jeder zusätzliche Versuch kostet Zeit und kann auch Geld kosten. Der Router benötigt eine Gesamtfrist und ein Versuchsbudget – nicht jedes Mal eine neue Zuteilung, wenn der Anbieter wechselt.
Entscheiden Sie, was „Teilausgabe“ bedeutet
Wenn beim Nutzer noch keine Ausgabe eingegangen ist, kann der Versuch mit einem anderen Anbieter relativ unkompliziert sein. Sobald jedoch bereits ein Teil der Antwort angezeigt wurde, kann das Hinzufügen der neuen Antwort eines zweiten Modells zu einer verwirrenden oder widersprüchlichen Meldung führen.
Ich würde entweder die Generierung bis zum gewählten Ausgabepunkt zwischenspeichern oder einen expliziten Fehlerzustand zurückgeben und einen Neustart anbieten. Die richtige Entscheidung hängt vom Produkt ab, sollte aber wohlüberlegt sein.
Die Ausführung von Tools fügt eine weitere Grenze hinzu. Bei einem erneuten Versuch des Modells darf eine bereits abgeschlossene externe Aktion nicht einfach deshalb wiederholt werden, weil der nächste Planungsschritt fehlgeschlagen ist. Das Operationsprotokoll gehört außerhalb des Provider-Adapters.
Routing-Entscheidungen messen, einschließlich Dienstbeeinträchtigungen
Meine Routing-Aufzeichnung umfasst den Aufgabentyp, geeignete Kandidaten, den ausgewählten Anbieter, den Grund für die Ausweichwahl, die Richtlinienversion, die Latenz und die abgerechnete Nutzung. Sensible Eingabeaufforderungsinhalte müssen nicht in jede Metrik kopiert werden.
Außerdem unterscheide ich bei der Integritätsprüfung von Abhängigkeiten nach dem Ausmaß des Fehlers. Ein falsch konfigurierter interner Assistent sollte nicht zwangsläufig den Schaltkreis für einen ansonsten fehlerfreien Kunden-Chat-Pfad unterbrechen. Die richtige Grenze für den Circuit Breaker hängt davon ab, welche Anmeldedaten, Modelle und Bereitstellungen gemeinsame Fehlerzustände aufweisen.
Ein Multi-Provider-Konzept ist dann sinnvoll, wenn es die Produktversprechen auch unter sich ändernden Bedingungen einhält. Die technische Arbeit besteht darin, diese Versprechen so konkret zu formulieren, dass jeder Weg – einschließlich des Notfallwegs – überprüft werden kann.
Aktualisiert am 25. September 2026.