Egy héttel ezelőtt írtam egy cikket, ami arról szólt, hogy bizonyos weboldalak azért sem rankelnek az AI keresések során, mert olyan szolgáltatónál vannak, amelyek blokkolnak bizonyos AI search és user agenteket. Már akkor felmerült a kérdés, hogy egyedi, izolált esetről van szó, vagy ez egy általános a trend? Ennek jártam után.

A teszt

Összesen 121 domain regisztrátort / tárhelyszolgáltatót teszteltem az ISzT adatbázisa alapján.

Arra voltam kíváncsi, hogy ezek a szolgáltatók:

• milyen botokat engednek át és melyik botokat tiltják?
• van-e általános trend / összefüggés ezen a téren?
• eltérően kezeli-e a tárhelyszolgáltató a saját weboldalát és a nála hosztolt oldalakat vagy sem?

Jelenleg 147 olyan user-agentet ismerek / azonosítottam, amelyeknek van valamilyen SEO / AI SEO haszna. Ezek között vannak training botok, research botok, data brokerek, crawlerek, SEO toolok és böngészők is. A teszt szempontjából persze nincs szükség mind a 147 bot-ra, mert magyar piacon ezeknek a jelentős része teljesen irreleváns. De végül mégis minden botot ellenőriztem, mert így könnyen ki lehetett szűrni, hogy van-e valamilyen dedikált blokkolás adott szervereken vagy nincs. A teszt során próbáltam kellően „respectful lenni”:

• 15 másodperces request timeouttal dolgoztam és
• a request pace / delay esetében 5 másodperc volt az átlag

Az eredmények

A 121 hosting provider esetében 115 szolgáltatónál kaptam értékelhető eredményt. Ez lett a teljes halmaz, amit tovább elemeztem. Elsőként a ChatGPT-User agentet vizsgáltam és:

• 111 szolgáltató, tehát 96.5% lazán és simán átengedte ezt az agentet
• volt azonban 4 szolgáltató (3.5%), aki blokkolta az AI SEO oldalról az egyik (hanem a) legfontosabb OpenAI botot

Ennek mi a következménye: aki náluk hosztolja az oldalát, az szinte biztosan óriási hátránnyal indul AI SEO téren. A valós idejű lekérések (query fan-out-ok) esetében az adott oldalakat ugyanis nem tudja a ChatGPT elérni. Így sokkal kisebb százalékban vagy extrém esetben egyáltalán nem ajánlja majd az adott céget az AI válaszok során.

Ezt követően több domaint is megvizsgáltam, amit az egyes tárhelyeken hostoltak.

A különböző botokat az alábbi kategóriákba csoportosítottam:

• AI Training
• SEO
• Social Media
• AI Search
• AI User
• Autonomous Agent
• SEO / Analytics AI
• SEO Tools
• Enterprise AI
• Advertising

Ha a tárhelyszolgáltató átengedett minden botot, akkor ilyen grafikonokat kaptam. Csupa zöld. Az adott oszlopban a megfelelő csoportba sorolt botok darabszámát látni.

Ha valami tiltásra került, akkor pedig ilyet kaptam. A piros jelzés itt a 403-as response kódot jelenti. A zöld pedig 200-as kódot.

Aztán persze találtam elképesztően őrült oldalakat is. Nem vicc, ezen az oldalon 3-4 bot kivételével MINDEN is tiltva volt.

De nagyon sok olyan oldalba futottam bele, ahol szelektíven, de azért közepesen agresszíven tiltva voltak botok. Ez például az egyik legnagyobb / legismertebb szolgáltató oldala. Itt azért nagyon intenzíven szelektálva vannak a botok. Itt több AI Search bot és AI User agent is tiltásra került.

Ez egy másik, hasonlóan ismert, több milliárdos árbevétellel (és százmilliós nagyságrendű adózott eredménnyel) rendelkező szolgáltató oldala. Itt is kőkemnéyen tiltva van nagyon sok AI training és SEO bot. Az AI Search és AI User botok viszont érintetlenek egyelőre.

De volt olyan nagy szolgáltató is, aki a „neki nem tetsző botokat” 500-as szerverkóddal küldte el.

Tapasztalatok

Elsőre az a tanulság, hogy a tárhelyszolgáltatók teljesen eltérő módon reagálnak jelenleg a különböző botokra. Van aki nem tesz különbséget, átenged mindenkit. Van viszont olyan is, aki nagyon agresszíven tiltja őket. Ilyenből 4-et is találtam.

Ha valaki náluk hosztolja a weboldalát, akkor alap esetben a legtöbb AI szempontból fontos bot tiltva van náluk. Itt egy gyors reverse IP és NS rekord ellenőrzés alapján tucatnyi olyan weboldalt találtam, akiknél ez fogadott:

A botok 10-20%-a tiltása alatt van. Vagyis a tartalmat ezek a botok nem érik el, nem tudják megnézni. De az általános kategorizálás nem elég. Itt egy lista azokról a konkrét botokról, amiket egy milliárdos átbevételű építőipari cég weboldala „tilt le” a tárhelyszolgáltató miatt.

Tiltva van az OpenAI – GPTBot, Anthropic – ClaudeBot, Apple – Applebot-Extended, OpenAI – ChatGPT-User, Semrush – SemrushBot-OCOB, Google – AdsBot-Google Desktop, Ahrefs – AhrefsBot de még a Standard Browser (Chrome) is. Itt főleg az OpenAI botok tiltása kritikus a magyar piacon. Mert ez a cég szerintem nem is tudja, de őket azért nem ajánlja az AI (vagy csak sokkal kisebb százalékban, mint a versenytársakat), meg a megfelelő AI user agent nem is tudja elérni az oldalt. Ez szerintem már most fájdalmas üzleti veszteség, és idővel ez csak nagyobb lesz.

A legdurvább egyébként az volt, hogy egy szolgáltatónál még a sima Googlebot is tiltva volt. Nah ő, és a nála hosztolt weboldalak nemcsak az AI-ban, hanem a Googleben se nagyon fognak rankeni.

Tanulság

Több tanulsága is volt ennek a tesztnek:

• Az tárhelyszolgáltatók nagyon eltérő módon kezelik a különböző botokat.
• Nagyon sok vannak, akik 100%-ban, minden botot átengednek alap esetben.
• Több olyan szolgáltató is akad, akik szelektíven tiltanak, de itt nagyon nagy a szórás, hogy kiket és potenciálisan miért.
• Legalább 4 szolgáltató kifejezettem tiltja az AI Search-höz szükséges botokat (pl ChatGPT-USER agentet).
• Találtam olyan weboldalt is, ahol a minden bot tiltva volt.
• És olyan szolgáltatót is, ahol a Googlebotot is tiltották.

A helyzet persze részben érthető: nagyon sok olyan bot van , és hétről hétre újabbak jelennek meg, amelyek rövid idő alatt sok lekéréssel szinte DDOS támadást hajtanak végre. Ilyenkor pedig nemcsak egy ügyfél oldala lassul be, hanem akár az összes adott szerveren hosztolt többi oldal is. Ezért a szolgáltatók védekezni kényszerülnek.

A helyzetet tovább bonyolítja, hogyha valaki Cloudflaret használ, mert ott az újonnan setupolt fiókok esetében már a beállítási folyamat része a botok tiltása. Egy pipával többet jelöl be a fejlesztő és máris elvágta az oldalat az AI Search elől.

A botok terjedésével egyébknt az elképzelhető, hogy más fajta weboldalra és infrastruktúrára lesz szükség a jövőben. Simán elképzelhető, hogy kialakul egy kifejezetten „botok számára fejlesztett weboldal”. Valami ilyesmi irányba megy / tolódik el az agentic világ is az Universal Commerce Protocol (UCP) segítségével.

Egy dolog biztos: a SEO eddig is elég komplikált technikai része szerintem egy újabb réteggel lesz bonyolultabb a jövőben.