llms.txt und KI-Crawler: Was ChatGPT, Claude und Perplexity von Ihrer Website lesen

Seit KI-Systeme Websites zitieren, taucht in jeder zweiten SEO-Diskussion die Datei llms.txt auf — angeblich das neue robots.txt für künstliche Intelligenz. Die Wahrheit ist unaufgeregter: Es gibt tatsächlich mehr Bots als früher, man kann sie tatsächlich steuern, und llms.txt ist tatsächlich sinnvoll — nur nicht aus den Gründen, die meistens genannt werden. Dieser Artikel sortiert, was wirkt und was Marketing ist.

Wie KI-Systeme an Website-Inhalte kommen

Es gibt zwei grundverschiedene Wege, und sie zu unterscheiden ist die Voraussetzung für jede sinnvolle Entscheidung:

• Training. Inhalte werden eingesammelt und fließen in das Modell ein. Das passiert einmalig, wirkt langfristig und lässt sich nachträglich nicht rückgängig machen. Hier sind Bots wie GPTBot oder CCBot unterwegs.
• Live-Abruf. Beantwortet ein System eine Frage, ruft es aktuelle Seiten ab und formuliert daraus eine Antwort mit Quellenangabe. Das ist der Weg, über den Sie heute Kunden gewinnen können. Hier sind Bots wie OAI-SearchBot, Claude-SearchBot oder PerplexityBot unterwegs.

Die praktische Konsequenz: Wer sichtbar sein will, sollte den Live-Abruf keinesfalls sperren. Über das Training kann man streiten — es bringt keine direkten Besucher, erhöht aber die Wahrscheinlichkeit, dass ein Modell Ihr Unternehmen überhaupt kennt.

Die Bots, die wirklich unterwegs sind

Ein Punkt wird dabei oft missverstanden: Google-Extended steuert nicht die normale Google-Suche und auch nicht, ob Ihre Seite in den KI-Übersichten erscheint. Diese greifen auf den regulären Suchindex zu. Wer Google-Extended sperrt, verliert also nichts in der Suche — aber auch wenig.

robots.txt: erlauben oder sperren?

Die Steuerung läuft über dieselbe robots.txt wie bei Suchmaschinen. Für die allermeisten Unternehmen lautet die Empfehlung: erlauben. Ihre Inhalte sind Marketing, kein Betriebsgeheimnis — sie sollen gelesen und zitiert werden. Sperren ist dann sinnvoll, wenn Inhalte selbst das Produkt sind, etwa bei kostenpflichtigen Fachdatenbanken oder Kursmaterial.

Eine technische Falle sollten Sie dabei kennen: Sobald ein Bot eine eigene User-agent-Zeile findet, ignoriert er die Gruppe User-agent: * vollständig. Wer also eine eigene Gruppe für KI-Bots anlegt, muss dort alle Ausnahmen wiederholen — sonst crawlen genau diese Bots plötzlich Bereiche, die für alle anderen gesperrt sind.

Zweite Falle: Sperren Sie keine Seite per Disallow, die gleichzeitig ein noindex tragen soll. Ein gesperrter Crawler kann das noindex nicht lesen — die URL kann dann ohne Inhalt im Index landen. Entweder sperren oder auf noindex setzen, nicht beides.

Was llms.txt wirklich ist

llms.txt ist ein 2024 entstandener Vorschlag: eine Markdown-Datei im Wurzelverzeichnis, die den Inhalt einer Website kompakt und maschinenlesbar zusammenfasst — Kurzbeschreibung des Unternehmens, wichtigste Seiten mit absoluten URLs, häufig ergänzt um eine llms-full.txt mit den Volltexten.

Der wichtigste Satz zur Einordnung: Es ist kein Standard. Kein großer Anbieter hat sich verpflichtet, die Datei zu lesen. Google hat ausdrücklich erklärt, sie nicht auszuwerten. Wer Ihnen erzählt, llms.txt bringe Sie in die KI-Antworten von Google, verkauft Ihnen etwas.

Trotzdem ist die Datei nicht sinnlos — aus drei nüchternen Gründen:

1. Die Kosten sind praktisch null. Eine gepflegte Textdatei ist in einer Stunde geschrieben.
2. Kleinere Dienste und selbstgebaute Agenten werten sie durchaus aus, gerade weil sie billiger zu verarbeiten ist als vollständiges HTML.
3. Der Zwang, das eigene Angebot auf zwei Bildschirmseiten zu bringen, schärft die eigene Positionierung erstaunlich zuverlässig.

Wie eine brauchbare llms.txt aussieht

• Absolute URLs, keine relativen. KI-Systeme zitieren aus dem Kontext heraus; ein /kontakt ohne Domain ist wertlos.
• Ein Block harter Fakten an den Anfang: Firmenname, Anschrift, Erreichbarkeit, Servicegebiet, Qualifikationen. Das sind die Angaben, die am häufigsten wörtlich übernommen werden.
• Nach Bereichen gegliederte Linklisten mit sprechenden Bezeichnungen, nicht nur URLs.
• Keine Weiterleitungs-URLs. Steht in der Liste eine Adresse, die per 301 woanders hinführt, verschenken Sie den Eintrag.
• Bei Änderungen mitpflegen. Eine veraltete Datei ist schlechter als gar keine, weil falsche Fakten hängenbleiben.

Wichtiger als llms.txt: lesbares HTML

Wenn Sie nur eine Sache umsetzen, dann diese: Sorgen Sie dafür, dass Ihre Inhalte im ausgelieferten HTML stehen — nicht erst nach Ausführung von JavaScript. Viele KI-Crawler rendern kein JavaScript. Ein besonders häufiger Fall sind aufklappbare Elemente: Übliche Komponentenbibliotheken rendern zugeklappte Inhalte serverseitig überhaupt nicht. Wer seine FAQ so ausliefert, hat sie für einen großen Teil der Crawler nicht.

Prüfen können Sie das ohne Werkzeuge: Seitenquelltext anzeigen lassen (nicht die Entwicklertools) und nach einem Satz aus einer zugeklappten Antwort suchen. Wird er nicht gefunden, steht er nicht im HTML. Dieselbe Prüfung lohnt für Inhalte in Tabs, Karussells und nachgeladenen Bereichen. Mehr zum Gesamtbild im Artikel Generative Engine Optimization.

Unsere eigene Umsetzung

Auf fynnit.de sind alle genannten KI-Crawler ausdrücklich freigegeben, in einer eigenen Gruppe mit wiederholten Ausnahmen für die Programmierschnittstellen. Die llms.txt beginnt mit einem Eckdaten-Block und listet alle Seiten mit absoluten URLs; die llms-full.txt enthält die Volltexte sämtlicher Ratgeber-Artikel inklusive der FAQ-Antworten und wird bei jedem Deployment automatisch neu erzeugt, damit sie nicht veralten kann. Beides ist öffentlich abrufbar — Sie können es sich unter /llms.txt ansehen und als Vorlage nehmen.

Wenn Sie das für Ihre Website eingerichtet haben wollen, ist es Teil von SEO & GEO. Wie KI-Systeme die aufbereiteten Inhalte anschließend nutzen, erklärt der Artikel RAG und Wissensdatenbanken.