Ugrás a tartalomra
IngyenesAudit a Drupal-oldaladrólÍrásos audit a Drupal-oldaladról, három munkanapon belül
Összes cikk

Teljesítmény2026. ápr. 20.5 perc olvasás

Így tartjuk kordában az automatizált forgalmat

Valentin ZsigmondAlapító és vezető fejlesztő

Bármely nyilvános weboldal forgalmának számottevő része nem emberektől érkezik, hanem szoftverektől. Ilyenek a keresők feltérképező robotjai, amelyek az indexüket építik, a frissítéseket figyelő hírcsatorna-olvasók, a rendelkezésre állást ellenőrző szolgáltatások, a linkelőnézeteket készítő programok, a tartalmat gyűjtő scraperek, a gyenge pontokat kereső biztonsági szkennerek, újabban pedig egyre több AI-robot is, amelyek modellek tanításához és kérdések megválaszolásához gyűjtenek anyagot. Ebben semmi új nincs, és a nagy része mögött rossz szándék sincs. Az automatizált forgalom a kezdetektől a web része, és van közte olyan, amely neked kifejezetten hasznos.

A kérdés tehát nem az, hogyan szabaduljunk meg a botoktól. Hanem az, hogyan érjük el, hogy az oldalad jól szolgálja ki azokat az automatizált látogatókat, amelyeket szívesen lát, udvarias keretek között tartsa azokat, amelyeket nem, és egyik csoport se lassítsa le soha az oldalt egy valódi ember számára. Ezt a szétválogatást a platform szintjén végezzük el minden nálunk üzemeltetett oldalnál, ebben a cikkben pedig elmondjuk, hogyan gondolkodunk róla.

Nem minden bot egyforma

Érdemes az automatizált látogatókat nagyjából csoportokra osztani. Az elsőbe azok a szoftverek tartoznak, amelyeket kifejezetten szeretnél az oldaladon látni: a keresők robotjai, amelyek az indexben tartják az oldalaidat, azok a programok, amelyek linkelőnézetet készítenek, amikor valaki megosztja az oldaladat egy csevegésben vagy a közösségi médiában, és a felügyeleti ellenőrzések, amelyek azt nézik, elérhető-e az oldalad. Ha ezeket blokkolnánk, az közvetlenül neked ártana, ezért fel kell ismerni és át kell engedni őket.

A második csoport a semlegestől a nemkívánatosig terjed: tartalmat másoló scraperek, kereskedelmi eszközök, amelyek az egész webet bejárják, hogy aztán jelentéseket adjanak el róla, tömeges letöltők, és azoknak a szkripteknek a szűnni nem akaró háttérzaja, amelyek minden nyilvános címen ismert gyenge pontokat keresnek. Ennek a forgalomnak a nagy része egy jól karbantartott oldalra nem veszélyes, de erőforrást fogyaszt, és semmit sem ad cserébe. A kettő között pedig ott van egy újabb kategória, az AI-robotoké. Arról, hogy mennyire szívesen látott vendégek, a józanul gondolkodó oldaltulajdonosok sem értenek egyet, és éppen ezért járnak nekik saját szabályok egy mindenre érvényes igen vagy nem helyett. Rájuk még visszatérünk.

Miért teljesítménykérdés ez, és nem csak biztonsági

A szerver kapacitása véges, és minden kérés kerül valamibe. Az az oldal, amelyet egyenesen a gyorsítótárból szolgálunk ki, olcsó. Egy keresési találati oldal, egy szűrt lista vagy egy naptár, amelyben a távoli jövőbe is el lehet lapozni, már nem az, mert minden változatát frissen kell előállítani. A robotok nem úgy böngésznek, mint az emberek. Minden linket követnek, olyan kombinációkat is, amelyeken ember soha nem kattintana végig, és sokkal gyorsabban kérnek le oldalakat, mint ahogy bárki olvasni tud.

A gyakorlatban ez azt jelenti, hogy egy buzgó robot olyan oldalakra költheti el a szervered kapacitását, amelyeket soha senki nem fog látni, miközben egy valódi látogató sorban áll mögötte. Semmi sem romlott el, senki sem törte fel az oldalt, mégis lassabbnak érződik. Ezt szeretnénk megelőzni. Az automatizált forgalommal nincs baj mindaddig, amíg soha nem verseng egy emberrel az erőforrásokért.

Egy egészséges oldalon ennek jó részét felfogja a gyorsítótárazás, és sokat is fektetünk bele, de önmagában nem megoldás. A legdrágább oldalak gyakran éppen azok, amelyeket nem lehet gyorsítótárazni, és az a robot, amely ezeket ostromolja, egyszerűen megkerül minden védelmet, amelyet a gyorsítótár nyújtani tud. Aki a kapacitás tervezésekor nem számol az automatizált forgalommal, az végül olyan hardverért fizet, amely jórészt szoftvereket szolgál ki.

Hogyan különböztetjük meg az embert a szoftvertől

A szétválogatás a platformunk edge rétegében történik, még mielőtt egy kérés magához az oldalhoz eljutna. Több jelzést veszünk hozzá figyelembe. A tisztességes botok megnevezik magukat, a fontosabbakat pedig ellenőrizni is lehet, ezért ha egy kérés azt állítja magáról, hogy egy kereső robotjától jön, megnézzük, valóban abból a hálózatból érkezett-e. Gyakori trükk, hogy valaki egy ismert robotnak adja ki magát, az ellenőrzés viszont csendben kizárja ezt a lehetőséget.

A másik erős jelzés az, hogy honnan jön a forgalom. A valódi látogatók otthoni kapcsolatról, irodai hálózatból vagy mobilszolgáltatón keresztül böngésznek. A felhős adatközpontokból érkező kérések szinte mindig szoftvertől származnak, hiszen senki sem bérelt szerverről böngészi a webet. Ezt a besorolást a platform szintjén tartjuk karban, és az adatközponti forgalmat ennek megfelelően megjelöljük. Erre épülnek rá a viselkedési minták: milyen ütemben jönnek a kérések, mennyire szórtan érintik az oldalakat, viselkedik-e egyáltalán böngészőként a kliens. Egyetlen jelzés önmagában semmit sem dönt el. Együtt viszont megbízható képet adnak arról, ki ember, és mi program.

Korlátok, nem falak

Legalább annyit számít, hogy mihez kezdünk ezzel a képpel, mint maga a kép. Alaphelyzetben nem blokkoljuk az automatizált forgalmat, hanem keretek között tartjuk. Az ellenőrzött keresőrobotok megtartják a hozzáférésüket, mert az oldal részben azért van, hogy a keresők indexeljék. Az azonosítatlan automatizált forgalom és az adatközponti forgalom keretet kap: olyan kérésütemet, amely egy jóhiszemű szoftvernek bőven elég, de megakadályozza, hogy bármelyik kliens kisajátítsa a szervert.

A korlátokat úgy méretezzük, hogy valódi ember soha ne ütközzön beléjük. Aki olvassa az oldaladat, akár gyorsan, akár sok megnyitott lapon egyszerre, az messze a küszöbértékek alatt marad. Csak a gépként viselkedő klienseket kérjük arra, hogy lassítsanak, és a jól megírt szoftver ezt udvariasan kezeli: visszavesz a tempóból, és később újra próbálkozik. Az oldal teljesen nyitva marad a világ előtt. Lerohanni viszont nem lehet.

Mi a helyzet az AI-robotokkal

A legtöbb kérdést az AI-robotokról kapjuk. Ezek nem támadások, és sok közülük tisztességesen azonosítja magát, és tiszteletben tartja azokat a jelzéseket, amelyeket az oldalak közzétesznek. Ugyanakkor sok tartalmat és sok kapacitást is fogyaszthatnak, az oldaltulajdonosok pedig valóban eltérően látják, jót tesz-e a vállalkozásuknak, ha megjelennek az AI tanítóadataiban vagy az AI által előállított válaszokban. Mindkét álláspont védhető, és az, hogy melyik a helyes, attól függ, mire való az oldal.

A mi álláspontunk az, hogy erről az oldal tulajdonosának kell döntenie, nem nekünk. A technikai részt, vagyis ezeknek a robotoknak a felismerését és a kérésütemük észszerű szinten tartását minden oldalnál alapból elvégezzük. Az elvi részről, vagyis arról, hogy egy adott robotot egyáltalán beengedjünk-e, oldalanként szívesen beszélünk, és megvannak az eszközeink ahhoz, hogy a döntésnek érvényt szerezzünk, bármi legyen is az.

Mit jelent ez egy nálunk üzemeltetett oldalnak

Semmit sem kell telepítened, és semmit sem kell beállítanod. A forgalom szétválogatása és a kérések korlátozása a platformunk minden oldalánál az edge-en fut, valódi forgalomra hangolva, nem feltételezésekre, és ahogy a minták változnak, mi is igazítunk rajta. A keresők tovább járják az oldaladat, a linkelőnézetek tovább működnek, a felügyelet tovább figyel, az oldalaid pedig továbbra is gyorsan megérkeznek azokhoz, akiknek íródtak.

Amit észreveszel, az főleg az, ami nem történik meg. Az oldal nem lassul le, amikor rátalál egy scraper. Egy hirtelen automatizált kéréshullámból nem lesz lassú délután a látogatóidnak. A botok hozzátartoznak az internethez, és nem is fognak eltűnni. Ha viszont kordában tartjuk őket, nem jelentenek akkora gondot, hogy aggódnod kelljen miattuk.

A szerző

Valentin Zsigmond

Alapító és vezető fejlesztő

Full-stack Drupal-mérnök, aki közel két évtizedes pályája során nagy fejlesztőcsapatokat vezetett nagyvállalati környezetben. A Tilizy Digitalt azért alapította, hogy a senior szintű szakértelmet közvetlenül juttassa el azokhoz a cégekhez, amelyeknek szükségük van rá. Számos Drupal-fejlesztő mentora és az SDX megalkotója, amely egy Drupal-bővítmény modern, React és Vue alapú felületek építéséhez.

Tetszett a cikk?

Ha ez közel áll hozzád, képzeld el, mire jutnánk együtt a Drupal oldaladon.