O parte însemnată din traficul care ajunge pe orice site public nu vine de la oameni. Vine de la software: crawlere ale motoarelor de căutare care își construiesc indexul, cititoare de fluxuri care caută noutăți, monitoare de disponibilitate, servicii care generează previzualizări de linkuri, scrapere care adună conținut, scanere de securitate care caută slăbiciuni, iar în ultima vreme un val tot mai mare de crawlere AI care strâng material pentru antrenare și pentru a răspunde la întrebări. Nimic din toate acestea nu e nou, și cea mai mare parte nu are intenții rele. Traficul automat face parte din web de la începuturile lui, iar o parte din el îți e de-a dreptul utilă.
Așa că întrebarea nu e cum să scapi de boți. E cum să te asiguri că vizitatorii automați pe care site-ul tău îi vrea sunt serviți bine, cei pe care nu îi vrea sunt ținuți în limite politicoase și niciunul dintre cele două grupuri nu încetinește vreodată site-ul pentru un om în carne și oase. Sortarea asta o facem la nivel de platformă pentru fiecare site pe care îl găzduim, iar articolul de față explică cum gândim lucrurile.
Nu toți boții sunt la fel
E util să împarți vizitatorii automați în câteva grupuri mari. Primul grup e software-ul pe care chiar îl vrei: crawlerele motoarelor de căutare care îți țin paginile în index, serviciile care construiesc previzualizări de linkuri când cineva îți distribuie pagina într-un chat sau pe rețelele sociale și sondele de monitorizare care verifică dacă site-ul tău e online. Să le blochezi te-ar afecta direct, așa că ele trebuie recunoscute și lăsate să treacă.
Al doilea grup merge de la neutru la nedorit: scrapere care copiază conținut, instrumente comerciale care parcurg întregul web ca să vândă rapoarte despre el, instrumente de descărcare în masă și bâzâitul de fond, nesfârșit, al scripturilor care bat la fiecare adresă publică în căutare de slăbiciuni cunoscute. Cea mai mare parte a acestui trafic nu e periculoasă pentru un site bine întreținut, dar consumă resurse și nu dă nimic înapoi. Iar între cele două se află o categorie mai nouă: crawlerele AI. Proprietari de site-uri perfect rezonabili au păreri diferite despre cât de binevenite sunt, și tocmai de aceea merită reglaje proprii, nu un da sau un nu general. Revenim la ele.
De ce e un subiect de performanță, nu doar de securitate
Capacitatea unui server e finită, iar fiecare cerere costă ceva. O pagină servită direct din cache e ieftină. O pagină de rezultate de căutare, o listă filtrată sau un calendar care poate fi răsfoit până în viitorul îndepărtat nu sunt, pentru că fiecare variantă trebuie construită de la zero. Crawlerele nu navighează ca oamenii. Urmăresc fiecare link, inclusiv combinații pe care niciun om nu le-ar parcurge vreodată, și pot cere pagini mult mai repede decât poate citi oricine.
Rezultatul practic e că un crawler entuziast îți poate consuma capacitatea serverului pe pagini pe care nu le va vedea nimeni, în timp ce un vizitator real așteaptă în spatele lui. Nimic nu e stricat, nimic nu e spart, și totuși site-ul se simte mai lent. Exact asta vrem să prevenim. Traficul automat e în regulă atâta timp cât nu concurează niciodată cu un om pentru resurse.
Cache-ul absoarbe o bună parte din asta pe un site sănătos, și investim serios în el, dar cache-ul singur nu e răspunsul. Paginile cele mai scumpe sunt adesea exact cele care nu pot fi puse în cache, iar un crawler care le bombardează trece nestingherit pe lângă fiecare strat de protecție pe care îl oferă un cache rapid. Cine își planifică capacitatea ignorând traficul automat ajunge să plătească hardware care servește mai ales software.
Cum deosebim oamenii de software
Sortarea se face la marginea platformei noastre, înainte ca o cerere să ajungă la site-ul propriu-zis. În ea intră mai multe semnale. Boții onești se prezintă singuri, iar cei importanți pot fi verificați, așa că o cerere care pretinde că vine de la crawlerul unui motor de căutare e confruntată cu rețeaua din care a venit de fapt. Să te dai drept un crawler cunoscut e un truc frecvent, iar verificarea îl scoate discret din joc.
Un alt semnal puternic e locul din care vine traficul. Vizitatorii reali navighează de pe conexiuni de acasă, din rețele de birou și din rețelele operatorilor de telefonie mobilă. Cererile care sosesc din centre de date cloud sunt aproape întotdeauna software, pentru că oamenii nu navighează pe web de pe un server închiriat. Ținem clasificarea asta la zi la nivel de platformă și marcăm traficul din centre de date ca atare. Peste toate acestea vin tiparele de comportament: ritmul cererilor, varietatea paginilor accesate, dacă clientul se comportă măcar ca un browser. Niciun semnal nu decide nimic de unul singur. Împreună, dau o imagine de încredere despre cine e om și ce e program.
Limite de ritm, nu ziduri
Ce facem cu imaginea asta contează la fel de mult ca imaginea în sine. Din oficiu, nu blocăm traficul automat, ci îl ținem în limite. Crawlerele de căutare verificate își păstrează accesul, pentru că indexarea e unul dintre motivele pentru care site-ul există. Automatizările neidentificate și traficul din centre de date primesc un buget: un ritm de cereri perfect suficient pentru software legitim, dar care împiedică orice client să acapareze serverul.
Limitele sunt puse astfel încât un om real să nu dea niciodată de ele. Cineva care îți citește site-ul, chiar și repede, chiar și cu multe taburi deschise, rămâne mult sub praguri. Doar clienților care se comportă ca niște mașini li se cere să încetinească, iar software-ul bine scris se poartă politicos: o lasă mai moale și încearcă din nou mai târziu. Site-ul rămâne complet deschis către lume. Doar că lumea nu poate da năvală prin el.
Unde intră crawlerele AI
Crawlerele AI sunt grupul despre care suntem întrebați cel mai des. Nu sunt atacuri, iar multe dintre ele se identifică onest și respectă semnalele pe care le publică site-urile. În același timp, pot fi consumatori serioși atât de conținut, cât și de capacitate, iar proprietarii de site-uri au păreri sincer diferite despre cât le ajută afacerea să apară în datele de antrenare sau în răspunsurile generate de AI. Ambele poziții au argumente, iar răspunsul corect depinde de rostul site-ului.
Noi credem că decizia e a proprietarului de site, nu a noastră. Partea tehnică, să recunoaștem aceste crawlere și să le ținem ritmul de cereri la un nivel rezonabil, o facem standard pentru fiecare site. Partea de politică, dacă un anumit crawler are voie sau nu, e o discuție pe care o purtăm cu plăcere pentru fiecare site în parte, iar reglajele există ca să pună în practică orice se decide.
Ce înseamnă asta pentru un site găzduit la noi
Nimic de instalat și nimic de configurat. Sortarea traficului și limitarea ritmului rulează la margine pentru fiecare site de pe platforma noastră, calibrate pe trafic real, nu pe presupuneri, și ajustate pe măsură ce tiparele se schimbă. Motoarele de căutare continuă să indexeze, previzualizările de linkuri continuă să funcționeze, monitorizarea continuă să monitorizeze, iar paginile tale continuă să ajungă repede la oamenii pentru care au fost scrise.
Ce observi e mai ales ce nu se întâmplă. Site-ul nu încetinește când îl descoperă un scraper. Un val de cereri automate nu se transformă într-o după-amiază lentă pentru vizitatorii tăi. Boții fac parte din realitatea internetului și nu vor dispărea. Ținuți pe banda lor, nu sunt nici măcar o problemă care să merite nopți nedormite.