Korábban több cikket is írtam már arról, hogy az AI keresés hogy működik. A témát feldolgoztam tartalmi és technikai oldalról is.

Röviden összefoglalva: amikor egy felhasználó rákeres valamire például ChatGPT-ben, akkor az adott keresést szintetikus keresésekre bontja a rendszer. Ezek a fan-out queryk (vagy query fan-outok, QFO). Utána az AI egy speciális user-agent segítségével ezekre rákeres, kinyeri a top találatokat és ezek alapján adja meg a választ a felhasználónak

Az AI Search területe bár egyszerűnek tűnik, de mégis összetett. És ebben a cikkben most kifejezetten a user-agentre kell koncentrálni.

Egy hírlevél feliratkozóval történt levelezés alapján feltűnt, hogy bizonyos oldalak meglepően kis százalékban, vagy egyáltan nem rankelnek az AI keresésekben. A háttér oka nagyon egyszerű: a tárhelyszolgáltató.

A tárhelyszolgáltató ugyanis blokkolja bizonyos user-agenteknek a weboldal elérését.

Az általam trackelt 147 bot közül 117 van engedélyezve, és 30 blokkolva.

A blokkolt botok között vannak olyanok, amik teljesen validak. Például egy Huawei – PetalBot vagy Velen – VelenPublicWebCrawler blokkolása engem se zavarna. De ez hazai téren nagy és ismert tárhelyszolgáltató olyan user-agenteket is blokkol alapból, mint a:

• OpenAI – GPTBot
• Anthropic – ClaudeBot
• ByteDance – Bytespider
• Apple – Applebot-Extended
• Amazon – Amazonbot
• Perplexity – PerplexityBot
• Common Crawl – CCBot
• OpenAI – OAI-SearchBot
• OpenAI – ChatGPT-User
• Ahrefs – AhrefsBot és így tovább.

Igen, jól látható a fenti listából, hogy az OpenAI 3 botja is tiltva van.

• OpenAI – GPTBot: Ez a crawler általános adatgyűjtést végez. A célja, hogy a begyűjtött tartalmakkal a jövőbeli modelleket (mint mondjuk egy a GPT-5 vagy majd egyszer a GPT-6) tanítsák és fejlesszék.
• OpenAI – OAI-SearchBot: a ChatGPT kereső funkciójáért felel, azaz valós idejű információkat keres a weben. Így tud naprakész válaszokat adni a kérdésekre.
• OpenAI – ChatGPT-User: ez bot akkor lép működésbe, amikor ChatGPT-nek szüksége van egy konkrét weboldal elemzésére vagy meglátogatására.

A szóban forgó weboldal tehát azért sem rankel az AI keresések során, mert a szolgáltató letiltotta azoknak, hogy elérjék a weboldalt.

És ez a hiba nem csak ezt az egy weboldalt érinti, hanem az összes ott hostolt weboldalt.

Azt persze fontos hozzátenni, hogy maguk az oldal tulajdonosok a szükséges és fontos botokat egyedileg tudják engedélyezni a .htaccess fájlban. De hát a legtöbb weboldal tulajdonos erről nem tud, nem is érti, nem is tudja hogy kell ezt megcsinálni.

Ami érdekes a fenti példában, hogy főként azok az AI botok vannak tiltva, amelyek sok lekérést végeznek. A Perplexity-User mint user-agent nincs tiltva. Ennek ugyanis nagyon kicsi a magyar piacon a részaránya. Ha valami kevés forgalmat hoz és akár tiltják is, akkor az nem óriási gond. Kis forgalom, kis gond. De ugyebár ahogy egyre több forgalmat hoz egy AI, annál több lekérést kell csináljon. És ez fordítva is igaz. Vagyis több lekérésből lesz több AI ajánlás. Innentől kezdve, ha valami elkezd népszerű lenni (mert sokan használják), akkor sok lekérést kell végezni. Így annak a tiltása csak növeli a potenciálisan elvesztett AI search forgalmat.

Ez az elemzés most egy tárhelyszolgáltató alapján készült, de a napokban végig fogom nézni az összes többi hazait is, hogy lássam: ez általános trend vagy egyedi eset? Nem lepődnék meg, hogyha több helyen is megjelenne valamilyen szelektív tiltás.

Egy biztos, a fenti példa jól rámutat arra, hogy az AI SEO már korántsem csak arról szól, hogy rankelj jól hagyományos SEO-ban. Ennél sokkal mélyebb és bonyolultabb. És a jó AI SEO-t néha olyan aprónak tűnő különbségek is befolyásolják már alapból is, hogy Te melyik szolgáltatónál tartod a weboldaladat.