Direkt zum Inhalt
KostenlosEin Audit deiner Drupal-WebsiteEin schriftliches Audit deiner Drupal-Website, innerhalb von drei Werktagen
Alle Artikel

Performance20. Apr. 20265 Min. Lesezeit

Automatisierten Traffic in geordnete Bahnen lenken

Valentin ZsigmondGründer & Lead Engineer

Ein beträchtlicher Teil der Zugriffe auf jede öffentliche Website stammt nicht von Menschen, sondern von Software: Crawler von Suchmaschinen, die ihren Index aufbauen, Feedreader, die nach Neuem suchen, Uptime-Monitore, Dienste, die Linkvorschauen erzeugen, Scraper, die Inhalte einsammeln, Sicherheitsscanner, die nach Schwachstellen suchen, und seit einiger Zeit eine wachsende Zahl von KI-Crawlern, die Material für das Training und für Antworten zusammentragen. Neu ist das alles nicht, und das meiste davon ist harmlos. Automatisierter Traffic gehört seit den Anfängen zum Web, und manches davon nützt dir sogar.

Die Frage ist also nicht, wie man Bots loswird, sondern wie man dafür sorgt, dass die erwünschten gut bedient werden, die unerwünschten in vernünftigen Grenzen bleiben und keine der beiden Gruppen die Website je für echte Menschen ausbremst. Diese Sortierarbeit übernehmen wir auf Plattformebene für jede Website, die wir hosten. In diesem Artikel erklären wir, wie wir dabei vorgehen.

Bot ist nicht gleich Bot

Es hilft, automatisierte Besucher grob einzuteilen. Zur ersten Gruppe gehört Software, die du ausdrücklich willst: Suchmaschinen-Crawler, die deine Seiten im Index halten, Dienste, die eine Linkvorschau erzeugen, wenn jemand deine Seite in einem Chat oder in sozialen Netzwerken teilt, und Monitoring-Sonden, die prüfen, ob deine Website erreichbar ist. Wer diese Bots blockiert, schadet sich unmittelbar selbst. Sie müssen also erkannt und durchgelassen werden.

Die zweite Gruppe reicht von neutral bis unerwünscht: Scraper, die Inhalte kopieren, kommerzielle Tools, die das gesamte Web durchforsten, um Berichte darüber zu verkaufen, Massendownloader und das ständige Grundrauschen von Skripten, die jede öffentliche Adresse auf bekannte Schwachstellen abklopfen. Für eine gut gewartete Website ist dieser Traffic meist nicht gefährlich, aber er verbraucht Ressourcen und bringt nichts ein. Dazwischen steht eine neuere Kategorie: KI-Crawler. Wie willkommen sie sind, darüber gehen die Meinungen unter Website-Betreibern mit guten Gründen auseinander, und genau deshalb verdienen sie eigene Regeln statt eines pauschalen Ja oder Nein. Darauf kommen wir noch zurück.

Warum das ein Performance-Thema ist und nicht nur ein Sicherheitsthema

Serverkapazität ist begrenzt, und jede Anfrage kostet etwas. Eine Seite direkt aus dem Cache ist billig. Eine Suchergebnisseite, eine gefilterte Liste oder ein Kalender, durch den man sich bis in die ferne Zukunft blättern kann, ist es nicht, denn jede Variante muss neu erzeugt werden. Crawler bewegen sich anders durch eine Website als Menschen. Sie folgen jedem Link, auch Kombinationen, die nie ein Mensch anklicken würde, und sie rufen Seiten viel schneller ab, als irgendjemand lesen kann.

In der Praxis heißt das: Ein übereifriger Crawler kann deine Serverkapazität für Seiten verbrauchen, die nie jemand sehen wird, während ein echter Besucher hinter ihm warten muss. Nichts ist kaputt, niemand ist eingebrochen, und trotzdem wirkt die Website langsamer. Genau das wollen wir verhindern. Automatisierter Traffic ist in Ordnung, solange er nie mit einem Menschen um Ressourcen konkurriert.

Auf einer gut eingerichteten Website fängt der Cache einen guten Teil davon ab, und wir investieren viel in Caching. Allein reicht es aber nicht. Die teuersten Seiten sind oft genau die, die sich nicht cachen lassen, und ein Crawler, der sie im Dauerfeuer abruft, umgeht jeden Schutz, den ein schneller Cache bietet. Wer bei der Kapazitätsplanung automatisierten Traffic ausblendet, bezahlt am Ende Hardware, die vor allem Software bedient.

Wie wir Menschen und Software unterscheiden

Die Sortierung findet an der Edge unserer Plattform statt, bevor eine Anfrage überhaupt die Website erreicht. Dabei fließen mehrere Signale ein. Seriöse Bots geben sich zu erkennen, und die wichtigen lassen sich überprüfen: Gibt sich eine Anfrage als Suchmaschinen-Crawler aus, prüfen wir, aus welchem Netz sie tatsächlich kommt. Sich als bekannter Crawler auszugeben, ist ein verbreiteter Trick, und diese Prüfung macht ihn ganz nebenbei wirkungslos.

Ein weiteres starkes Signal ist die Herkunft des Traffics. Echte Besucher surfen über private Internetanschlüsse, Firmennetze und Mobilfunkanbieter. Anfragen aus Cloud-Rechenzentren stammen fast immer von Software, denn Menschen surfen nicht von einem gemieteten Server aus. Diese Einordnung pflegen wir auf Plattformebene und kennzeichnen Traffic aus Rechenzentren entsprechend. Hinzu kommen Verhaltensmuster: das Tempo der Anfragen, wie breit sie über die Seiten streuen und ob sich der Client überhaupt wie ein Browser verhält. Kein einzelnes Signal entscheidet für sich. Zusammen ergeben sie ein verlässliches Bild davon, wer ein Mensch ist und was ein Programm.

Rate Limits statt Mauern

Was wir mit diesem Bild anfangen, ist genauso wichtig wie das Bild selbst. Grundsätzlich blockieren wir automatisierten Traffic nicht, sondern halten ihn in Grenzen. Verifizierte Suchmaschinen-Crawler behalten ihren Zugang, denn gefunden zu werden ist einer der Gründe, warum es die Website gibt. Nicht identifizierte Automatisierung und Traffic aus Rechenzentren bekommen ein Budget: ein Anfragetempo, das für seriöse Software völlig ausreicht, aber verhindert, dass ein einzelner Client den Server für sich allein beansprucht.

Die Grenzen sind so bemessen, dass ein echter Mensch nie an sie stößt. Wer deine Website liest, auch schnell und mit vielen offenen Tabs, bleibt weit unter den Schwellenwerten. Nur Clients, die sich wie Maschinen verhalten, werden gebremst, und sauber programmierte Software hält sich daran: Sie wartet und versucht es später noch einmal. Die Website bleibt für alle offen. Nur überrennen kann sie niemand.

Wo KI-Crawler hingehören

Nach KI-Crawlern werden wir am häufigsten gefragt. Sie sind keine Angriffe, und viele geben sich ehrlich zu erkennen und halten sich an die Signale, die Websites veröffentlichen. Gleichzeitig können sie große Mengen an Inhalten und Kapazität verbrauchen, und Website-Betreiber sehen sehr unterschiedlich, ob es ihrem Geschäft nützt, in KI-Trainingsdaten oder in KI-generierten Antworten aufzutauchen. Beide Sichtweisen lassen sich gut begründen, und die richtige Antwort hängt davon ab, wozu die Website da ist.

Wir finden: Das entscheidet der Website-Betreiber, nicht wir. Die technische Seite, also diese Crawler zu erkennen und ihr Anfragetempo vernünftig zu halten, übernehmen wir standardmäßig für jede Website. Über die grundsätzliche Frage, ob ein bestimmter Crawler überhaupt zugelassen werden soll, sprechen wir gern für jede Website einzeln, und was dabei entschieden wird, können wir technisch auch durchsetzen.

Was das für eine Website bedeutet, die wir hosten

Du musst nichts installieren und nichts konfigurieren. Die Sortierung des Traffics und die Rate Limits laufen für jede Website auf unserer Plattform an der Edge, abgestimmt auf echten Traffic statt auf Annahmen und angepasst, sobald sich die Muster ändern. Suchmaschinen crawlen weiter, Linkvorschauen funktionieren weiter, das Monitoring läuft weiter, und deine Seiten kommen bei den Menschen, für die sie geschrieben wurden, weiterhin schnell an.

Bemerken wirst du vor allem, was nicht passiert. Die Website wird nicht langsamer, wenn ein Scraper sie entdeckt. Eine Welle automatisierter Anfragen bremst deine Besucher nicht einen ganzen Nachmittag lang aus. Bots gehören zum Internet, und sie werden nicht verschwinden. In geordneten Bahnen sind sie aber auch kein Grund für schlaflose Nächte.

Geschrieben von

Valentin Zsigmond

Gründer & Lead Engineer

Full-Stack-Drupal-Architekt mit fast zwei Jahrzehnten Erfahrung in der Leitung großer Teams in Enterprise-Umgebungen. Hat Tilizy Digital gegründet, um Senior-Expertise direkt zu den Organisationen zu bringen, die sie brauchen. Mentor für Dutzende Drupal-Entwickler und Schöpfer von SDX.

Hat dir der Artikel gefallen?

Wenn er dich angesprochen hat: Stell dir vor, was wir gemeinsam aus deiner Drupal-Website machen könnten.