Direkt zum Inhalt
KostenlosEin Audit deiner Drupal-WebsiteEin schriftliches Audit deiner Drupal-Website, innerhalb von drei Werktagen
Alle Artikel

Performance23. Sep. 20265 Min. Lesezeit

KI-Crawler auf deiner Website: willkommen heißen, drosseln oder aussperren

Valentin ZsigmondGründer & Lead Engineer

Im Web waren nie nur Menschen unterwegs. Seit es Websites gibt, gibt es auch automatisierte Besucher: Programme, die Seiten für irgendeinen eigenen Zweck abrufen. Am bekanntesten sind die Crawler der Suchmaschinen, und die meisten Website-Betreiber sehen sie gern, denn wer gecrawlt wird, wird gefunden. Automatisierter Traffic gehört einfach zum Betrieb einer Website, und das meiste davon ist entweder nützlich oder harmlos.

Seit einiger Zeit ist eine neue Art automatisierter Besucher verbreitet, und sie bewegt sich in einer interessanten Grauzone. Gemeint sind Crawler, die Inhalte für künstliche Intelligenz sammeln: Manche tragen Texte zusammen, um Modelle zu trainieren, andere rufen Seiten in Echtzeit ab, um eine Frage zu beantworten, die jemand einem KI-Assistenten gestellt hat. Sie sind weder die Suchmaschinen-Crawler, die du schon immer haben wolltest, noch die bösartigen Scraper, die du schon immer fernhalten wolltest. Sie sind etwas Neues, und ob du sie willkommen heißt, ist eine echte Abwägung und kein selbstverständliches Ja oder Nein.

Wir finden, dass diese Entscheidung beim Betreiber der Website liegt, nicht bei uns und nicht beim Crawler. Deshalb behandeln wir sie als Einstellung: Jede Website kann eine Haltung wählen, und wir setzen sie dort durch, wo das am wirksamsten ist, nämlich an der Edge des Netzwerks, bevor der Traffic die Website überhaupt erreicht.

Eine neue Art von Besucher

Es lohnt sich, genau hinzusehen, was diese Crawler tun, denn sie sind nicht alle gleich. Manche sammeln große Mengen Text, um KI-Modelle zu trainieren. Andere kommen genau in dem Moment, in dem jemand einem Assistenten eine Frage stellt, rufen ein oder zwei Seiten ab, um die Antwort zu finden, und zeigen oder verlinken deine Inhalte unter Umständen in ihrer Antwort. Im ersten Fall geht es um den Aufbau eines Systems, der zweite ähnelt eher einem neuen Weg, auf dem Menschen dich entdecken können.

Wegen dieses Unterschieds gibt es keine allgemeingültige Antwort. Ein Crawler, der dir interessierte Leser schicken könnte, ist etwas anderes als einer, der alles liest, was du je veröffentlicht hast, um damit etwas aufzubauen, von dem du nie etwas zurückbekommst. Vernünftige Website-Betreiber betrachten dieselben beiden Crawler und kommen zu gegensätzlichen Schlüssen, und für ihre jeweilige Situation können beide recht haben.

Warum die Antwort nicht auf der Hand liegt

Was spricht dafür, sie willkommen zu heißen? Wenn Assistenten zu einem Weg werden, auf dem Menschen Informationen finden, dann bedeutet Lesbarkeit für sie heute ungefähr das, was vor zwanzig Jahren die Auffindbarkeit durch Suchmaschinen bedeutete. Vielleicht möchtest du, dass deine Inhalte vorkommen, dein Unternehmen erwähnt wird und deine Seiten als Quelle zur Verfügung stehen. Für viele Organisationen ist Sichtbarkeit mehr wert als alles, was ein Crawler sie kostet.

Und was spricht dagegen? Deine Inhalte sind deine Arbeit, und vielleicht willst du nicht, dass sie ohne Gegenleistung in einem fremden System aufgehen. Intensives Crawling hat zudem einen Preis: Ein hartnäckiger Crawler, der sich durch eine große Website arbeitet, verbraucht Serverressourcen, die eigentlich für deine Besucher da sind. Für manche Betreiber ist die Rechnung einfach, und die Antwort lautet Nein. Die meisten liegen irgendwo dazwischen: Sie wollen offen bleiben, ohne dass ihre Website komplett abgegrast wird. Genau wegen dieses Mittelwegs hilft eine pauschale Regel niemandem, eine echte Wahlmöglichkeit dagegen schon.

robots.txt und die Konventionen, die gerade entstehen

Das Web hat längst einen bewährten Weg, wie eine Website automatisierten Besuchern ihre Wünsche mitteilen kann: eine Datei namens robots.txt im Stammverzeichnis, in der steht, wer willkommen ist und welche Bereiche besucht werden dürfen. Seriöse Crawler lesen sie und halten sich daran, und seit Jahrzehnten regelt sie ganz unauffällig das Crawling der Suchmaschinen.

Derselbe Mechanismus wird jetzt auf KI-Crawler ausgeweitet. Viele von ihnen veröffentlichen die Namen, unter denen sie sich zu erkennen geben, sodass eine Website sie in der robots.txt nennen und Ja oder Nein sagen kann. Außerdem entstehen neuere Konventionen, mit denen eine Website genauer angeben kann, wie ihre Inhalte genutzt werden dürfen, und noch ist vieles im Fluss. Wir verfolgen diese Entwicklung, damit eine Website, die wir betreuen, ihre Wünsche so formuliert, wie es die aktuellen Konventionen vorsehen, und nicht als Vermutung, die kein Crawler versteht.

Warum eine höfliche Bitte nicht reicht

All das hat eine wichtige Grenze. Die robots.txt ist eine Bitte, keine Sperre. Ein seriöser Crawler liest sie und hält sich daran, und die seriösen sind in der Mehrheit. Aber eine Bitte wirkt nur bei denen, die bereit sind, sie zu respektieren, und nichts in der Datei selbst hält einen Crawler auf, der sie bewusst ignoriert.

Ein erklärter Wunsch braucht also etwas, das greift, wenn die Höflichkeit endet. Hat ein Betreiber entschieden, eine bestimmte Art von Crawler fernzuhalten, sollte diese Entscheidung gelten, ob der Crawler mitspielt oder nicht. Erst wenn hinter dem Wunsch die Möglichkeit steht, ihn durchzusetzen, wird aus einer Empfehlung eine echte Entscheidung.

Drei Haltungen, durchgesetzt an der Edge

In der Praxis bieten wir Website-Betreibern drei grundsätzliche Haltungen an. Willkommen heißen: Diese Crawler werden ähnlich wie Suchmaschinen behandelt und können ihre Arbeit tun. Drosseln: Sie sind erlaubt, aber nur in einem gemäßigten Tempo, sodass sie die Website lesen können, ohne sie je zu überlasten oder echte Besucher zu verdrängen. Und aussperren: Sie werden abgewiesen. Eine Website kann diese Haltungen auch kombinieren, also eine Art von Crawler willkommen heißen und eine andere aussperren, denn die beiden sind tatsächlich verschieden.

Wofür du dich auch entscheidest, wir setzen es an der Edge durch, also auf der Netzwerkebene vor der Website. Das hat einen praktischen Grund. Wird automatisierter Traffic dort erkannt und behandelt, belastet das Aussortieren nie die Server, die deine Besucher bedienen, und wer deine Website liest, wird nie ausgebremst oder muss eine Prüfung über sich ergehen lassen, nur weil eine Regel auf Maschinen zielt. Dieselbe Edge, die wirklich feindseligen Traffic in Schach hält, wendet auch diese Einstellungen an, ruhig und ohne Nebenwirkungen.

Die Entscheidung liegt beim Betreiber

Nichts davon ist ein Grund zur Sorge. Automatisierter Traffic, auch diese neue Art, gehört ganz normal zum Web und lässt sich wie alles andere in geordneten Bahnen halten. Neu ist nur, dass es eine Entscheidung zu treffen gilt, die es vor ein paar Jahren noch nicht gab, und dass die richtige Antwort ganz davon abhängt, wofür eine bestimmte Website da ist.

Von uns bekommst du die Möglichkeit, diese Entscheidung bewusst zu treffen, und die Gewissheit, dass sie dann auch gilt. Manche der Websites, die wir betreuen, heißen KI-Crawler willkommen, manche drosseln sie, manche sperren sie aus, und einige behandeln verschiedene Crawler unterschiedlich. Richtig ist das alles, denn es entspricht jeweils dem, was der Betreiber will. Die Haltung wählst du, und wir sorgen dafür, dass sie hält.

Geschrieben von

Valentin Zsigmond

Gründer & Lead Engineer

Full-Stack-Drupal-Architekt mit fast zwei Jahrzehnten Erfahrung in der Leitung großer Teams in Enterprise-Umgebungen. Hat Tilizy Digital gegründet, um Senior-Expertise direkt zu den Organisationen zu bringen, die sie brauchen. Mentor für Dutzende Drupal-Entwickler und Schöpfer von SDX.

Hat dir der Artikel gefallen?

Wenn er dich angesprochen hat: Stell dir vor, was wir gemeinsam aus deiner Drupal-Website machen könnten.