Ein Dashboard kann überhöhte Ausgaben zwar perfekt aufzeigen, trägt aber nichts dazu bei, diese zu verhindern. Die Durchsetzung erfordert eine Entscheidung, bevor die kostspieligen Arbeiten beginnen, und diese Entscheidung muss auch dann gültig bleiben, wenn mehrere Anfragen gleichzeitig eingehen.
Diese Situation lässt sich leicht übersehen: Bei zwei Anfragen wird jeweils derselbe verbleibende Spielraum angezeigt, beide entscheiden, dass sie fortfahren können, und geben zusammen mehr aus, als das Limit des Mieters zulässt. Eine einfache Abfolge aus „Saldo prüfen, dann Modell aufrufen“ löst dieses Problem nicht.
Reservekapazität atomar
Ich berechne das verfügbare Kontingent als Differenz zwischen dem Limit und dem bereits abgerechneten Verbrauch sowie den aktiven Reservierungen. Eine Anfrage muss vor Beginn der abrechnungsrelevanten Arbeit im Rahmen einer atomaren Operation ausreichend Kapazität reservieren.
Bei einer begrenzten Textgenerierungsanfrage kann die Reservierung die geschätzten Eingabekosten und die konfigurierte maximale Ausgabemenge berücksichtigen. Andere abrechnungsrelevante Aspekte, wie beispielsweise die Bildverarbeitung oder zusätzliche Werkzeugschritte, müssen gesondert behandelt werden.
Die Reservierung ist eine Anwendungsrichtlinie und keine Garantie für das Abrechnungsverhalten jedes einzelnen Anbieters. Strenge Kontrollen setzen begrenzte Anrufe, bekannte Preise und eine Richtlinie für Unsicherheiten voraus. Wenn ein Anruf unbegrenzten Folgeaufwand verursachen kann, kann keine anfängliche Schätzung die Sicherheit gewährleisten.
Halten Sie die Aufnahme und die Abrechnung getrennt
Die Zulassung entscheidet darüber, ob eine Anfrage gestartet werden darf. Die Abrechnung erfasst den tatsächlichen Verbrauch und gibt nicht genutzte Reservierungen frei. Beide Vorgänge benötigen stabile Identifikatoren, damit bei Wiederholungsversuchen nicht derselbe Betrag zweimal belastet oder freigegeben wird.
Eine vereinfachte Zulassungsregel lautet:
available = limit - settled_usage - active_reservations
atomically:
if requested_reservation > available:
reject_or_degrade()
else:
create_reservation(request_id, requested_reservation)Dieser Pseudocode drückt die Invariante aus. Die Implementierung der Produktion benötigt noch transaktionale Aktualisierungen, die Behandlung von Ablaufdaten, Währungsgenauigkeit und ein dauerhaftes Anforderungsprotokoll.
Mit unterbrochenen und unklaren Anrufen umgehen
Ein getrennter Client ist kein Beweis dafür, dass der Anbieter die Berechnung eingestellt hat. Ein Timeout ist kein Beweis dafür, dass der Aufruf erfolgreich war. Die sofortige Freigabe aller Reservierungen bei einem Verbindungsfehler kann dazu führen, dass der Arbeitsaufwand, der am ehesten erneut versucht wird, zu niedrig eingeschätzt wird.
Ich führe unklare Nutzungsdaten in einem Abstimmungsstatus. Sofern Nutzungsdaten des Anbieters vorliegen, kann die Abrechnung später erfolgen. Andernfalls benötigt das Produkt eine konservative Abrechnungsregel und Transparenz darüber, in welchem Umfang die Nutzung geschätzt wird.
Reservierungen benötigen zudem Wiederherstellungsregeln für abgestürzte Worker. Beim Ablauf einer Reservierung sollte berücksichtigt werden, ob der externe Vorgang möglicherweise noch läuft; ein Lease-Timeout allein ist kein Beweis dafür, dass ein Provider-Aufruf beendet wurde.
Preise für die verschiedenen Versionen und Budgetpolitik
Ein Nutzungsdatensatz sollte das Modell, die abrechnungsfähigen Mengen, die Preisversion, die Anforderungs-ID, den Mandanten und die Aufgabe erfassen. Die Neuberechnung alter Nutzungsdaten anhand der aktuellen Preistabelle führt zu Unstimmigkeiten in den historischen Berichten.
Ich vermeide es, ein unbekanntes Modell als kostenfrei zu behandeln. Je nach Produkt sollte ein Modell ohne Preisangabe entweder nicht verfügbar sein oder eine konservative Reservierung erhalten, bis die Preisgestaltung festgelegt ist. Fehlende Konfigurationen sollten niemals stillschweigend die Ausgabenberechtigung erweitern.
In den Richtlinien sollte außerdem festgelegt werden, ob ein Kundenlimit für die Kosten des Anbieters, ein Guthaben aus Handelsgeschäften oder eine andere Nutzungseinheit gilt. Dabei handelt es sich um unterschiedliche Konzepte, die nicht unter der irreführenden Bezeichnung „Guthaben“ zusammengefasst werden sollten.
Dem Kunden einen vorhersehbaren Ausfallpfad bieten
Ein Warnschwellenwert kann einem Mieter helfen, Maßnahmen zu ergreifen, bevor die Grenze erreicht wird. Bei Erreichen der Grenze kann die Anwendung möglicherweise die manuelle Unterstützung beibehalten, eine deutliche Benachrichtigung anzeigen oder eine kostengünstigere Aufgabe vorschlagen, die im Rahmen der Richtlinien bleibt.
Der automatische Fallback muss dieselbe Zulassungsprüfung bestehen. Der Wechsel zu einem anderen Anbieter darf weder das Budget des Mandanten zurücksetzen noch eine eigenständige Zuteilung schaffen.
Ich teste gleichzeitige Zugriffe, doppelte Abrechnungen, Systemabstürze und unbekannte Preise. Entscheidend ist, dass die Ausgaberegel auch unter diesen Bedingungen weiterhin gilt und nicht nur bei einer einzelnen erfolgreichen Anfrage.
Aktualisiert am 25. September 2026.