Mistral Small 4 in LiteLLM
Um die steigenden API-Kosten meiner KI-Workflows zu senken und die Qualität der Outputs zu erhöhen, habe ich mein Setup grundlegend umgebaut. Im Zentrum stehen dabei ein neues LLM-Gateway-Routing und eine radikale Überarbeitung meiner System-Prompts.
LiteLLM und Mistral Small 4 als "Cheap-Tier"
Ich nutze LiteLLM als Gateway zwischen meinen Automatisierungen und den KI-Anbietern. Für Routineaufgaben wie Text-Extraktion oder einfache Klassifizierungen habe ich das Modell "Mistral Small 4" als neues Standardmodell konfiguriert. Mit $0.10 für Input- und $0.30 für Output-Token (pro 1 Mio. Token) ist es extrem günstig. Fällt die API aus, greift ein automatischer Fallback auf ein Premium-Modell, sodass die Pipeline nie abbricht.
Die wichtigste Erkenntnis hierbei: Denkt beim Bau von KI-Features in "Tier-Klassen" (Cheap, Standard, Premium). Baut die Infrastruktur so, dass Modelle im Hintergrund über das Gateway jederzeit austauschbar bleiben, sobald ein günstigerer Anbieter auf den Markt kommt.
Prompt v2 gegen vage Zusammenfassungen
Mein zweites Problem war qualitativer Natur: KI-Zusammenfassungen von Newslettern blieben oft zu oberflächlich. Ich habe den System-Prompt daher komplett neu geschrieben und ein striktes Framework erzwungen. Vage Phrasen ("man sollte", "könnte interessant sein") sind nun explizit verboten. Stattdessen muss die KI zwingend konkrete Handlungsanweisungen (als Befehl, Prüfung oder Projekt) ableiten.
Der größte Hebel war jedoch die Kontext-Verknüpfung: Ich übergebe dem Prompt nun dynamisch eine Liste meiner 10 wichtigsten aktiven Projekte. Die KI muss jede Zusammenfassung auf diese Projekte mappen. So erfahre ich nicht nur, dass es ein neues Tool gibt, sondern wie es mir bei einem spezifischen Projekt hilft. Auf der Suche nach Abkürzungen für solche Workflows habe ich übrigens gelernt, dass Community-Templates (z.B. für n8n oder Make) zwar toll sind, um die Mechanik zu verstehen, für ein ausgereiftes Setup aber meist zu generisch und unbrauchbar sind.
Meine wichtigsten Learnings:
- Ein LLM-Gateway ist unverzichtbar für dynamisches Modell-Routing und effektive Kostenkontrolle.
- Verknüpfe Prompts dynamisch mit deinen aktuellen Projekten, um aus generischen Texten direkt anwendbare Handlungsanweisungen zu machen.