Foglald össze ezt a cikket
Kattints a kedvenc AI eszközödre a gyors összefoglalóért:
Egyik napról a másikra összeomlott egy projekt organikus forgalma.
Ilyenkor az ember először magában keresi a hibát, úgyhogy végigmentünk a szokásos listán. Mi nem állítottunk át semmit és az ügyfél sem. Nem volt fejlesztés, nem nyúltunk a robots.txt-hez, nem változtak a canonicalok. Az esés nem igazolt algo update időszakra esett és más oldalak esetében sem látni semmi szokatlant.
Ez alapján megállapítható: lokális, izolált esetről van szó. Ez egyszerre jó és rossz hír.
- Jó, mert nem a Google rendezte át megint a világot
- Rossz, mert valahol az ügyfél körül történt valami, amiről nem tudunk / nem vettük észre.
Megindult egy gyors nyomozás.
Ha olvastad a korábbi cikkeimet, tudod, hogy többször beszéltünk már arról, mennyire tud hatni a SEO- és GEO-teljesítményre egy külső szolgáltató: a tárhely, a DNS, a CDN vagy egy biztonsági réteg. Ezekre ritkán gondolunk SEO-eszközként, pedig ott ezek ülnek a Googlebot (és a többi bot) és a weboldalad között. Most is ez történt. A problémát sikerült Cloudflare szintre szűkíteni.
Mit láttunk a Search Console-ban?
A kép elég egyértelmű volt. Augusztustól október végéig stabil, sőt kicsit emelkedő görbe: napi 30–40 kattintás, 3 ezer körüli impression. November elején pedig zuhanás, és pár nap alatt szinte nullára esett az impressionök és kattintások száma is.

Ez nem az a lassú, pár hetes lecsúszás, amit egy core update vagy egy erősödő versenytárs okoz.
A 403, ami nem a szerverről jött
Megnéztük az érintett URL-eket az URL Inspection toolban. Mindenhol ugyanaz:
- Crawl allowed? Yes
- Page fetch: Failed: Blocked due to access forbidden (403)
- Indexing allowed? N/A
- URL is not on Google

A robots.txt tehát nem tiltott. Az oldal technikailag hibátlan volt, indexelhető, és böngészőből 200-zal jött be. A Googlebot viszont 403-at kapott, vagyis a szerver (vagy ami előtte áll) azt mondta neki: ide te márpedig nem jöhetsz be.
Megnéztük a Cloudflare naplót. A kérések hiteles Googlebottól jöttek, Google IP-ről, és a Cloudflare 403-mal dobta vissza őket. Az origin szerverig el sem jutottak.
Szóval ez nem egy kamubot volt, és nem is egy WAF-szabály false positive-ja. Ez tényleg az igazi Googlebot volt, és a Cloudflare tudatosan zárta ki.
A Google be akart jönni, de a rendszer nem engedte be.
A bűnös: a Training robotok tiltása
A hiba oka: Cloudflare-ben a Training kategória, vagyis az AI-modelleket tanító crawlerek tiltásra voltak állítva.
Ha nem követed ilyen mélyen a szakmát, röviden: a Cloudflare idén átalakította, hogyan kezeli az AI-hoz kötődő robotokat. A gond az, hogy a Googlebot nem tiszta keresőrobot. Ugyanaz a bot indexel a kereséshez, és gyűjt olyan tartalmat is, ami AI-tanításra használható. A Cloudflare ezért vegyes célú botként kezeli, és a legszigorúbb szabályt alkalmazza rá. Ahol a Training tiltva van, ott a keresést és tanítást is végző crawlert is Training crawlerként kezeli.
Magyarul: aki a GPTBotot és társait akarta kitiltani, az végül a Googlebotot is kitiltotta. De nem volt ez mindig így.
Mikor változott a besorolás?
Ez nem titokban történt, csak elég kevesen olvasták el a bejelentéseket kellően alaposan. Az idővonal:
| Dátum | Mi történt |
|---|---|
| 2025. július | A Cloudflare elindította az egykattintásos AI botblokkolást. Ezt sokan bekapcsolták, akkor még elsősorban a tisztán tanító botokat fogta meg. |
| 2026. július 1. | Az AI-hoz kötődő botokat három fő típusra bontották: Search, Agent és Training. A Cloudflare azt írta, hogy a „Verified” státuszt többé nem tekinti alapból engedélyezettnek. |
| 2026. augusztus | A Search Engine Journal beszámolt egy r/TechSEO-s esetről, ahol az AI Training = Block beállítás után a Googlebot és a Bingbot 403-at kapott a sitemapra. |
| 2026. szeptember 15. | A Cloudflare dokumentációja szerint innentől minden, AI training tiltására szolgáló konfiguráció a keresést és tanítást kombináló, vegyes célú crawlereket is blokkolja. Ugyanekkor jött a kíméletesebb Disallow opció (lásd lent). |
| 2026. november 4. | A „Configure AI bot policies” beállítást átnevezték „AI Crawler and Agent access policies”-re, és bekerültek a személyes ügynökökre (Personal Agents) vonatkozó egyedi beállítások. |
Vagyis idén ősztől elkezdett megváltozni a CF hozzáállása a botok tiltása kapcsán. Ő egyébként erről szólt. Legfeljebb nem mindenki figyelt rá. Jelen esetben az oldal fejlesztője jóindulatból tiltotta az AI botokat, mert az volt a mondás, hogy ez a best practice. Majd pár hónappal később "valami megváltozott".
A beállítás ugyanaz maradt, csak a jelentése változott meg mögötte.
Amit pár hónapja az AI ellen kapcsoltál be, az ma a Google ellen is dolgozik.
A probléma alapból onnan ered, hogy a Googlebot kvázi kettős felhasználású bot, mert ebben az értelmezésben egyszerre Search bot és Training bot. Aki pedig kézzel átállította, hogy tiltja a Training botokat, az végül kitiltotta a Googlebotot is. Aki egyébként néha "helytelenül" nem csinált semmit, az most jól járt. Aki ki akarta zárni kifejezetten a Training botokat, az kizárta. De járulékosan most már a Googlebotot is.
Hol találod ezt a Cloudflare-ben?
Ha használsz Cloudflare-t, akkor ezt nézd meg.
Security → Settings, majd a szűrőben Bot traffic, és ott az AI Crawler and Agent access policies sor.
Cloudflare Security → Settings → Bot traffic, benne az AI Crawler and Agent access policies sor.


AI Crawler and Agent access policies: Search, Training, Agents és Personal Agents beállítások
Három fő kategória van:
- Search: a keresőkhöz indexelő botok.
- Training: az AI-modelleket tanító crawlerek.
- Agents: a valaki nevében böngésző AI-ügynökök. Alatta külön a Personal Agents, ahol ügynökönként is lehet szabályt adni.
Mindhárom kategória kaphat Block, Block on pages with ads vagy Allow értéket, a Training ezen felül kaphat Disallow értéket is.
Mi a javasolt beállítás?
| Kategória | Javaslat | Miért |
|---|---|---|
| Search | Allow (do not block) | Erről nincs mit vitatkozni. Enélkül nincs organikus forgalom. |
| Training | Allow, vagy ha nem akarod, hogy tanítsanak a tartalmadon: Disallow.De Soha ne legyen Block. | A Block a Googlebotot, a Bingbotot és az Applebotot is magával viszi. |
| Agents | Allow (do not block) | Ezek hozzák a forgalmat az AI-asszisztensekből. GEO szempontból kár kizárni őket. |
Itt most a Training sor a kulcs. A Disallow AI Training a robots.txt-be írja a "ne taníts" preferenciát, a Googlebot, az Applebot és a Bingbot pedig közben továbbra is crawlolhat a kereséshez. A Block beállítás ezzel szemben teljesen megállítja ezeket a crawlereket, a keresést is beleértve.
A Google oldalán a training külön is kezelhető a robots.txt-ben a Google-Extended tokennel. Ez a Googlebot keresési hozzáférését viszont nem érinti.
És egy SEO-s / GEO-s megjegyzés: aki azért tiltja az AI-t, hogy "megvédje" a tartalmát, és ezzel a Googlebotot is kizárja, az az AI Overviews-ból és az AI Mode-ból is kiesik, hiszen azok is a Google indexére épülnek. Így az AI-ban sem fog látszani, és a klasszikus keresőben sem.
Erre mondják, hogy magasról lehet nagyot bukni.
Javítás
Mivel megvan a bűnös (a fejlesztő és a korábbi alapból jó szándékú beállítás), a javítás sem bonyolult:
- A Training beállítás átállítása Allow-ra (vagy Disallow-ra). Utána a Googlebot újra átjutott, a naplóban 200-as válaszok jöttek.
- Indexelési kérés a GSC-ben a legfontosabb URL-ekre. Az URL Inspection újra zöld pipát mutasson! URL is on Google, Page is indexed.
- Sitemap újraküldése, hogy a Google minél hamarabb végigmenjen a teljes oldalon.
- Javítás validálása a Page indexing riportban a Blocked due to access forbidden (403) hibánál, a „Validate fix” gombbal.

Gyors volt a javítás? Igen. Elkerülhető lett volna? Igen.
Ami egyrészt szenzációsan izgalmas, és egyben ijesztő is ebben az új / gyorsan változó világban:
Az "én nem nyúltam semmihez" még nem jelenti azt, hogy tényleg nem is változott semmi.
Simán előfordul, hogy valaki olvas egy cikket, hogyha túl nagy a terhelés az oldaladon, akkor csak bökj át egy kapcsolót Cloudflare-ben, az tiltja a "nem hasznos botokat". Majd megcsinálja. Munka elvégezve, pipa. Aztán pár hónappal később meg kiderül: ez a módosítás okozta, hogy elszállt a projekt minden organikus forgalma.
Ha biztosra akarsz menni, akkor mindig ellenőrizz. Az AI botokat például a mi ingyenes eszközünkben is tesztelni tudod: https://thepitch.hu/ai-bot-ellenorzes/
Hírlevél
Tetszett a cikk? Szeretnél még több ilyet olvasni?
Akkor iratkozz fel és küldünk egy e-mailt, ha hasonló cikket írunk!
2015 óta vezetem a The Pitch szakmai munkáját, a csapattal évente több mint száz ügyfélnek segítünk. Egyik szakmai szervezője vagyok a Digital Cube Confnak, az ország legnagyobb analitika, PPC és SEO konferenciájának. A képzésen azt adom át, ami az ügyfélmunkában tényleg működik.


