Welche KI-Bots deine Seite besuchen und welche du hereinlassen solltest

Es gibt eine Datei auf deiner Website, die du vermutlich noch nie geöffnet hast. Sie heisst robots.txt, liegt im Hauptverzeichnis und ist ein paar Zeilen lang. In diesen Zeilen steht, welche automatischen Besucher hereindürfen und welche nicht.

Früher war das eine Nebensächlichkeit für Technikinteressierte. Inzwischen entscheidet diese Datei mit darüber, ob du in KI-Antworten überhaupt vorkommen kannst. Der häufigste Fehler dabei ist übrigens keiner, den jemand bewusst macht.

Drei Roboter, drei Aufgaben

Bei OpenAI, also bei ChatGPT, sind es drei verschiedene automatische Besucher. Sie tragen unterschiedliche Namen und tun sehr Verschiedenes. In der Dokumentation von OpenAI stehen sie einzeln aufgeführt.

GPTBot sammelt Inhalte für das Training der Modelle. Er läuft dauerhaft durch das Netz und trägt zusammen, woraus die nächste Version eines Modells lernt.

OAI-SearchBot baut den Index, aus dem ChatGPT zitiert, wenn jemand eine Frage stellt und das System dafür im Netz nachschaut. Dieser Roboter entscheidet mit darüber, ob deine Seite als Quelle einer Antwort auftauchen kann.

ChatGPT-User ist kein Sammler. Er ruft deine Seite in dem Moment ab, in dem eine Person in ChatGPT auf eine Quelle klickt oder das System einen Link direkt öffnet. Es ist ein einzelner, von einem Menschen ausgelöster Besuch.

Der Unterschied klingt technisch. Er hat aber eine sehr praktische Folge.

Die Falle, in die viele hineinlaufen

Vor zwei Jahren ging eine Empfehlung durch die Fachwelt: Sperr die KI-Crawler aus, sonst bedienen sich die Modelle an deiner Arbeit. Viele haben daraufhin ihre robots.txt erweitert. Manche haben es selbst getan, viele haben ein Plugin installiert, das eine fertige Liste mitbringt.

Diese Listen stammen zum Teil aus der Zeit, in der es die Unterscheidung noch gar nicht gab. Sie sperren alles, was nach KI aussieht.

Das Ergebnis: Die betroffene Seite ist nicht nur vom Training ausgenommen. Sie fällt auch aus dem Index, aus dem ChatGPT beim Suchen zitiert. Wer sich dann wundert, warum er in KI-Antworten nicht auftaucht, sucht die Ursache meist beim Inhalt. Dabei steht sie in vier Zeilen einer Textdatei.

Es lohnt sich also, einmal nachzusehen, bevor du an deinen Texten arbeitest.

So schaust du nach

Ruf im Browser deine Adresse mit dem Zusatz /robots.txt auf, also zum Beispiel deine-domain.ch/robots.txt. Was dort steht, sieht jeder, das ist normal.

Interessant sind Zeilen, die mit User-agent: beginnen, gefolgt von einem Namen und darunter Disallow: /. Diese Kombination bedeutet: Der genannte Besucher darf gar nichts abrufen.

Achte besonders auf User-agent: * mit einem Disallow: / darunter. Das sperrt alle automatischen Besucher aus, auch die von Google. Solche Fälle sind selten, richten dafür grossen Schaden an.

Wenn du dort Namen wie GPTBot, ClaudeBot, PerplexityBot oder Google-Extended findest, hat jemand bewusst oder unbewusst eine Entscheidung für dich getroffen.

Die Entscheidung, die dir niemand abnimmt

Ob du das Training zulassen willst, ist eine Frage, auf die es keine allgemeingültige Antwort gibt. Sie hängt davon ab, wie du zu deiner Arbeit stehst.

Dagegen spricht ein nachvollziehbares Gefühl. Du hast jahrelang Wissen aufgebaut. Ein Unternehmen verwendet es nun, um ein Produkt zu verbessern, an dem du nichts verdienst.

Dafür spricht eine Überlegung, die weniger offensichtlich ist. Was im Modell selbst steckt, ist auch dann verfügbar, wenn gerade niemand im Netz nachschaut. Wer vom Training ausgeschlossen ist, kann nur zitiert werden, wenn das System aktiv sucht.

Was ich dir empfehle: Triff die Entscheidung bewusst, in beide Richtungen zulässig. Was ich dir nicht empfehle: sie einem Plugin zu überlassen.

Der Teil, der fast immer sinnvoll ist

Unabhängig davon, wie du dich beim Training entscheidest, gibt es einen Punkt mit klarer Antwort.

Die Suchroboter solltest du hereinlassen. Also OAI-SearchBot bei OpenAI, dazu die entsprechenden Besucher der anderen Systeme. Diese Roboter sammeln nichts für ein Training. Sie sorgen dafür, dass deine Seite als Quelle einer Antwort infrage kommt.

Wer sie aussperrt, verzichtet auf Sichtbarkeit, ohne dafür etwas zu bekommen. OpenAI schreibt dazu selbst, dass Seiten, die OAI-SearchBot ausschliessen, in ChatGPTs Suchantworten nicht angezeigt werden.

Dasselbe gilt für ChatGPT-User. Dieser Besucher erscheint nur, weil ein Mensch auf deinen Link geklickt hat. Ihn zu sperren bedeutet, jemandem die Tür vor der Nase zuzumachen, der ausdrücklich zu dir wollte.

Die anderen Systeme, kurz sortiert

OpenAI ist nicht allein. Die übrigen Anbieter haben inzwischen dieselbe Trennung übernommen, mit jeweils eigenen Namen.

Anthropic schickt ClaudeBot für das Training und Claude-SearchBot für die Suche. Dazu kommt Claude-User, der Abruf beim Klick.

Perplexity nutzt PerplexityBot für den Suchindex und Perplexity-User für den Abruf einer Seite während eines Gesprächs.

Google hat einen Sonderfall. Der normale Googlebot ist zuständig für Suche und für die KI-Antworten zugleich. Wer ihn sperrt, verschwindet aus beidem. Getrennt steuerbar ist nur Google-Extended, das die Verwendung für das Training der Modelle regelt.

Diese Aufteilung ist wichtig, weil sie eine verbreitete Erwartung enttäuscht. Man kann bei Google nicht aus den KI-Antworten aussteigen und in der Trefferliste bleiben. Das ist eine Entscheidung, die Google für sich behalten hat.

Was passiert, wenn du gar nichts tust

Der wahrscheinlichste Fall ist, dass in deiner robots.txt zu diesen Namen nichts steht. Dann gilt für alle: erlaubt.

Für die meisten Selbstständigen ist das ein brauchbarer Ausgangspunkt. Du bist zitierbar, du bist auffindbar, deine Inhalte fliessen zusätzlich in das Training ein.

Wer damit ein Unbehagen hat, sollte es ernst nehmen und die Trennung nutzen. Wer kein Unbehagen hat, muss nichts tun. Was in beiden Fällen schadet, ist eine pauschale Sperre, die jemand vor zwei Jahren eingebaut hat, weil sie damals empfohlen wurde.

Ein Blick auf die Wirklichkeit

Ich habe in den vergangenen Monaten bei einer Reihe von Websites nachgeschaut, meist im Rahmen eines Sichtbarkeits-Checks. Das Muster ist wiederkehrend.

Wo eine Sperre steht, weiss die Inhaberin oder der Inhaber in der Regel nichts davon. Sie stammt aus einem Sicherheits-Plugin, aus einer Vorlage oder von einer Agentur, die vor zwei Jahren gut gemeint hat. In keinem einzigen Fall war es eine bewusste Entscheidung gegen KI-Zitate.

Das ist der eigentliche Grund für diesen Beitrag. Er soll dich zu keiner bestimmten Wahl bringen. Er soll dir zeigen, dass überhaupt eine getroffen wurde.

Wie eine saubere Fassung aussieht

Wenn du das Training ablehnen und trotzdem zitierbar bleiben willst, sieht der entsprechende Teil deiner robots.txt etwa so aus:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

Wenn du beides zulassen willst, brauchst du für diese drei gar keinen Eintrag. Ohne Regel gilt: erlaubt.

Wichtig ist die Reihenfolge nicht, wichtig ist die Genauigkeit der Namen. Ein Tippfehler im Namen bedeutet, dass die Regel ins Leere läuft.

Was du in den Serverlogs siehst

Wer Zugriff auf die Serverlogs hat, kann noch einen Schritt weitergehen. Dort steht, welche Roboter tatsächlich vorbeikommen und wie oft.

Das ist aus zwei Gründen aufschlussreich. Erstens erkennst du, ob deine Einstellungen wirken. Zweitens erkennst du, ob überhaupt jemand da war. Eine Seite, die von keinem Suchroboter besucht wird, hat ein anderes Problem als eine, die besucht und nicht zitiert wird.

Diese Unterscheidung spart viel vergebliche Arbeit. Sie ist auch der Grund, warum ich bei einer Prüfung immer zuerst hier hineinschaue und erst danach in die Texte gehe.

Was das alles nicht leistet

Damit du keine falsche Erwartung mitnimmst: Eine korrekt eingestellte robots.txt sorgt nicht dafür, dass du zitiert wirst. Sie sorgt dafür, dass du zitiert werden kannst.

Das ist der Unterschied zwischen einer offenen Tür und einem Grund hereinzukommen. Um den Grund geht es in fast allen anderen Beiträgen hier, etwa dort, wo es um die Quellen geht, aus denen ChatGPT seine Empfehlungen zieht.

Eine geschlossene Tür macht allerdings jeden Grund wertlos. Deshalb steht dieser Punkt so weit vorn.

Der eine Schritt für heute

Öffne deine-domain.ch/robots.txt und lies die zehn Zeilen. Das dauert zwei Minuten.

Wenn dort nichts von KI-Robotern steht, ist alles offen und du hast nichts zu tun. Steht dort etwas, weisst du jetzt, was es bedeutet. Dann kannst du entscheiden, ob es so bleiben soll.

Das ist keine grosse Arbeit. Es ist nur eine, die kaum jemand macht. Deshalb ist sie so oft der Grund für Stillstand an einer Stelle, an der niemand sucht.