AEO Next Steps: robots.txt + llms.txt + sitemap.xml

Um meinen Blog gezielt für KI-Crawler zu öffnen und gleichzeitig die API-Kosten meiner internen Wissensdatenbank zu senken, habe ich mein technisches Setup in zwei Bereichen grundlegend umgebaut. Statt auf klassisches SEO setze ich auf "Answer Engine Optimization" (AEO) und wechsle bei der Datenverarbeitung auf asynchrone Prozesse.

Mein Blog als Datenquelle für KI

Damit Modelle wie ChatGPT oder Claude meine Inhalte optimal verstehen und als Quelle nutzen können, habe ich drei Anpassungen vorgenommen:

Zuerst habe ich meine robots.txt aktualisiert und ein explizites "Allow" für wichtige AI-Crawler wie GPTBot, Google-Extended, anthropic-ai und PerplexityBot gesetzt.

Das spannendste neue Element ist die llms.txt. Diese maschinenlesbare Markdown-Datei liegt im Hauptverzeichnis sowie unter .well-known/llms.txt. Sie liefert Sprachmodellen direkt beim Einstieg den perfekten Kontext: eine präzise Beschreibung der Website, meine Kernthemen und den verwendeten Tech-Stack.

Zusätzlich habe ich meine sitemap.xml aufgeräumt und Schema.org JSON-LD implementiert. So können KI-Bots strukturierte Entitäten wie Autor oder Publikationsdatum auslesen, ohne den Text erst aufwendig interpretieren zu müssen.

API-Kosten halbieren mit Batch-Verarbeitung

Im Hintergrund lade ich regelmäßig Dokumente in meine Wissensdatenbank, zerteile sie in Chunks und lasse sie via LLM vektorisieren und zusammenfassen. Bisher lief das synchron: N+1 API-Aufrufe pro Dokument in Echtzeit zu regulären Preisen.

Um diese Kosten zu optimieren, stelle ich meine Architektur auf die Gemini Batch API um. Statt sofortiger Verarbeitung sammle ich Anfragen und schicke sie im Paket an die API. Der Anbieter verarbeitet diese bei freien Rechenkapazitäten innerhalb von 24 Stunden. Da ich alte Recherchen oder PDFs nicht zwingend in Echtzeit durchsuchbar brauche, ist dieser Kompromiss für mich ideal.

Meine wichtigsten Erkenntnisse: * Mit Standards wie der llms.txt und JSON-LD liefert man KI-Modellen eine strukturierte "Gebrauchsanweisung" für die eigene Website. * Wer bei der internen Dokumentenverarbeitung auf Echtzeit-Ergebnisse verzichten kann, spart durch asynchrone Batch-APIs sofort 50 % der Kosten.