Ugrás a tartalomra
IngyenesAudit a Drupal-oldaladrólÍrásos audit a Drupal-oldaladról, három munkanapon belül
Összes cikk

Teljesítmény2026. szept. 23.5 perc olvasás

AI-robotok az oldaladon: beengeded, korlátozod vagy kitiltod őket

Valentin ZsigmondAlapító és vezető fejlesztő

A weben soha nem csak emberek jártak. Amióta weboldalak léteznek, automatizált látogatóik is vannak: programok, amelyek valamilyen saját célból töltenek le oldalakat. A legismertebbek a keresők feltérképező robotjai, és a legtöbb oldaltulajdonos örül nekik, hiszen attól leszel megtalálható, hogy feltérképeznek. Az automatizált forgalom egyszerűen együtt jár azzal, hogy valaki weboldalt üzemeltet, és a nagy része vagy hasznos, vagy ártalmatlan.

Az utóbbi időben elterjedt az automatizált látogatók egy új fajtája, amely érdekes köztes helyet foglal el. Azokról a robotokról van szó, amelyek a mesterséges intelligencia számára gyűjtenek tartalmat: egyesek szöveget gyűjtenek a modellek betanításához, mások valós időben töltenek le oldalakat, hogy megválaszoljanak egy kérdést, amelyet valaki egy asszisztensnek tett fel. Nem azok a keresőrobotok, amelyeket mindig is szívesen láttál, és nem is azok a rosszindulatú tartalommásoló programok, amelyeket mindig is távol akartál tartani. Újfajta látogatók, és hogy szívesen látod-e őket, az valódi döntés, nem magától értetődő igen vagy nem.

Úgy gondoljuk, ezt a döntést az oldal tulajdonosának kell meghoznia, nem nekünk, és nem is a robotnak. Ezért beállításként kezeljük: minden oldal megválaszthatja, hogyan viszonyul hozzájuk, mi pedig ott érvényesítjük ezt, ahol a leghatékonyabb, vagyis az edge-en, a hálózat peremén, még mielőtt a forgalom elérné az oldalt.

Újfajta látogató

Érdemes tisztázni, mit csinálnak ezek a robotok, mert nem egyformák. Egyesek nagy mennyiségű szöveget gyűjtenek AI-modellek betanításához. Mások abban a pillanatban érkeznek, amikor valaki kérdez valamit egy asszisztenstől: letöltenek egy-két oldalt, hogy megtalálják a választ, és a válaszban megjeleníthetik vagy belinkelhetik a tartalmadat. Az első egy rendszer építéséről szól, a második inkább új módja annak, hogy az emberek rád találjanak.

E különbség miatt nincs egyetlen helyes válasz. Az a robot, amely érdeklődő olvasókat küldhet hozzád, egészen más eset, mint az, amelyik mindent elolvas, amit valaha közzétettél, hogy segítsen felépíteni valamit, amiből neked soha semmi nem jut. Józanul gondolkodó oldaltulajdonosok ugyanazt a két robotot nézve ellentétes következtetésre jutnak, és a maga helyzetében mindegyiküknek igaza lehet.

Miért nem magától értetődő a válasz

Nézzük, mi szól amellett, hogy beengedd őket. Ha az asszisztensek az információkeresés egyik megszokott módjává válnak, akkor az, hogy olvasni tudják az oldaladat, kicsit olyan, mint húsz évvel ezelőtt az volt, hogy a keresők fel tudják térképezni. Lehet, hogy azt szeretnéd, ha a tartalmad megjelenne, a vállalkozásodat megemlítenék, az oldalaid pedig forrásként elérhetők lennének. Sok szervezetnek a láthatóság többet ér, mint amennyibe egy robot valaha is kerülhet neki.

Most nézzük, mi szól ellene. A tartalmad a te munkád, és lehet, hogy nem szeretnéd, ha beolvadna egy rendszerbe, amelyből semmi sem jut vissza hozzád. Az intenzív feltérképezésnek ára is van: egy kitartó robot, amely végigmegy egy nagy oldalon, olyan szervererőforrásokat fogyaszt, amelyek a látogatóid kiszolgálására valók. Néhány tulajdonosnak egyszerű a számítás, és a válasza nem. A legtöbben valahol a kettő között állnak: nyitottak szeretnének maradni, de azt nem szeretnék, hogy mindenüket egyben elvigyék. Éppen e köztes helyzet miatt nem jó senkinek egyetlen általános szabály, és ezért jó, ha választani lehet.

A robots.txt és a formálódó konvenciók

A weben régóta megvan a módja annak, hogy egy oldal közölje a kívánságait az automatizált látogatókkal: az oldal gyökerében található robots.txt fájl, amely felsorolja, kit látnak szívesen, és az oldal mely részeit látogathatja. A jól nevelt robotok elolvassák és betartják, és ez a fájl évtizedek óta csendben szabályozza a keresők feltérképező munkáját.

Ugyanezt a mechanizmust most kiterjesztik az AI-robotokra is. Sokuk közzéteszi, milyen néven azonosítja magát, így az oldal név szerint megemlítheti őket a robots.txt-ben, és igent vagy nemet mondhat nekik. Újabb konvenciók is formálódnak, amelyekkel egy oldal pontosabban megadhatja, hogyan használható fel a tartalma, de a kép még nem tisztult le. Ezeket folyamatosan követjük, így az általunk karbantartott oldalak úgy közlik a kívánságaikat, ahogyan az éppen érvényes konvenciók elvárják, nem pedig találomra, olyan formában, amelyet egyetlen robot sem ismer fel.

Miért kell az udvarias kérés mögé érvényesítés is

Mindennek van egy fontos korlátja. A robots.txt kérés, nem akadály. A jól nevelt robot elolvassa és eleget tesz neki, és a jól neveltek vannak többségben. Egy kérés azonban csak azoknál működik, akik hajlandók tiszteletben tartani, és magában a fájlban semmi sincs, ami megállítaná azt a robotot, amelyik úgy dönt, hogy figyelmen kívül hagyja.

A kimondott kívánság mögött ezért kell lennie valaminek arra az esetre is, ha az udvariasság már nem elég. Ha egy oldaltulajdonos úgy döntött, hogy egy bizonyos fajta robotot távol tart, ennek a döntésnek akkor is érvényesülnie kell, ha a robot nem működik együtt. Ehhez a kívánság mellé az a képesség is kell, hogy be lehessen tartatni, és ettől lesz a választás valódi, nem puszta ajánlás.

Három hozzáállás, az edge-en érvényesítve

A gyakorlatban háromféle hozzáállás közül választhat az oldal tulajdonosa. Az első a beengedés: ezekkel a robotokkal nagyjából úgy bánunk, mint a keresőkkel, és hagyjuk őket dolgozni. A második a korlátozás: bejöhetnek, de csak kimért ütemben, így olvashatják az oldalt, de soha nem terhelik túl, és nem szorítják ki a valódi látogatókat. A harmadik a tiltás: ezeket a robotokat elutasítjuk. Egy oldal vegyítheti is a hármat, az egyik fajta robotot beengedheti, a másikat kitilthatja, hiszen a kettő valóban különbözik.

Bármi is a döntés, az edge-en érvényesítjük, vagyis abban a hálózati rétegben, amely az oldal előtt áll. Ennek gyakorlati oka van. Ha az automatizált forgalmat ott azonosítjuk és kezeljük, akkor a szétválogatás terhe soha nem jut el azokhoz a szerverekhez, amelyek a látogatóidat szolgálják ki, és aki az oldaladat olvassa, annak soha nem lassul le az oldal, és ellenőrző kérdést sem kap egy gépeknek szánt szabály miatt. Ugyanaz az edge, amely kordában tartja a valóban ellenséges forgalmat, érvényesíti ezeket a döntéseket is, nyugodtan és mellékhatások nélkül.

A tulajdonos dönt

Mindez nem ok a riadalomra. Az automatizált forgalom, ezzel az új fajtával együtt, természetes része a webes jelenlétnek, és ugyanúgy mederben tartható, mint bármi más. Annyi változott, hogy van egy új döntés, amely néhány éve még nem létezett, és hogy a helyes válasz teljes egészében azon múlik, mire való az adott oldal.

A mi feladatunk az, hogy ezt a döntést megfontoltan meghozhasd, és az érvényben is maradjon. Az általunk karbantartott oldalak közül néhány beengedi az AI-robotokat, néhány korlátozza, néhány távol tartja őket, és akad olyan is, amely robotonként másként bánik velük. Mindegyik helyes, mert azt tükrözi, amit az adott tulajdonos szeretne. Hogy hogyan viszonyulsz hozzájuk, azt te választod meg. Az pedig a mi dolgunk, hogy a döntésed érvényesüljön.

A szerző

Valentin Zsigmond

Alapító és vezető fejlesztő

Full-stack Drupal-mérnök, aki közel két évtizedes pályája során nagy fejlesztőcsapatokat vezetett nagyvállalati környezetben. A Tilizy Digitalt azért alapította, hogy a senior szintű szakértelmet közvetlenül juttassa el azokhoz a cégekhez, amelyeknek szükségük van rá. Számos Drupal-fejlesztő mentora és az SDX megalkotója, amely egy Drupal-bővítmény modern, React és Vue alapú felületek építéséhez.

Tetszett a cikk?

Ha ez közel áll hozzád, képzeld el, mire jutnánk együtt a Drupal oldaladon.