Kontext-Overhead der automatisierten Synthese-Läufe um 82 Prozent gesenkt

Ich habe festgestellt, dass meine nächtlichen und stündlichen Synthese-Läufe (Newsletter-Verdichtung, Berichte, Konflikt-Bereinigung) unnötig eine 95 KB große Projekt-Instruktionsdatei mitluden – obwohl diese Jobs reine Textverarbeitung sind und den Kontext gar nicht benötigen. Eine A/B-Messung zeigte: Mit Datei 115.000 Tokens Kontextlast, ohne nur 20.000. Bei kaltem Cache kostete das 0,95 vs. 0,045 US-Dollar pro Lauf.

Die Lösung war simpel: Die Läufe starten jetzt in einem leeren Arbeitsverzeichnis ohne die Instruktionsdatei. Die Abo-Authentifizierung blieb davon unberührt. Ergebnis: 82 % weniger Kontextlast, 95 % weniger Schattenkosten. Da die Abrechnung über ein Abo läuft, spart das kein Geld, schont aber das Kontingent (von 2,3 auf 0,4 Mio. Tokens/Tag) und reduziert die Latenz.

Zum Mitnehmen:

• Große Kontextdateien kosten pro Aufruf – bei Batch-Jobs ohne Kontextbedarf gehören sie raus aus dem Arbeitsverzeichnis.
• Prüfe vor Optimierungen, ob die Abrechnung nutzungsbasiert oder als Abo erfolgt.