Óvatosan az AI botok tiltásával

A cikket Papp GáborPapp Gábor írta.

Egyik napról a másikra beszakadt egy ügyfél organikus forgalma. A tettes nem algo update volt, hanem egy régi beállítás a Cloudflare-ben.

  • 2026. november 19.
  • 6 perc olvasás

Foglald össze ezt a cikket

Kattints a kedvenc AI eszközödre a gyors összefoglalóért:

Egyik napról a másikra összeomlott egy projekt organikus forgalma.

Ilyenkor az ember először magában keresi a hibát, úgyhogy végigmentünk a szokásos listán. Mi nem állítottunk át semmit és az ügyfél sem. Nem volt fejlesztés, nem nyúltunk a robots.txt-hez, nem változtak a canonicalok. Az esés nem igazolt algo update időszakra esett és más oldalak esetében sem látni semmi szokatlant.

Ez alapján megállapítható: lokális, izolált esetről van szó. Ez egyszerre jó és rossz hír.

  • Jó, mert nem a Google rendezte át megint a világot
  • Rossz, mert valahol az ügyfél körül történt valami, amiről nem tudunk / nem vettük észre.

Megindult egy gyors nyomozás.

Ha olvastad a korábbi cikkeimet, tudod, hogy többször beszéltünk már arról, mennyire tud hatni a SEO- és GEO-teljesítményre egy külső szolgáltató: a tárhely, a DNS, a CDN vagy egy biztonsági réteg. Ezekre ritkán gondolunk SEO-eszközként, pedig ott ezek ülnek a Googlebot (és a többi bot) és a weboldalad között. Most is ez történt. A problémát sikerült Cloudflare szintre szűkíteni.

Mit láttunk a Search Console-ban?

A kép elég egyértelmű volt. Augusztustól október végéig stabil, sőt kicsit emelkedő görbe: napi 30–40 kattintás, 3 ezer körüli impression. November elején pedig zuhanás, és pár nap alatt szinte nullára esett az impressionök és kattintások száma is.

esik a forgalom a Google Search Console fiókban

Ez nem az a lassú, pár hetes lecsúszás, amit egy core update vagy egy erősödő versenytárs okoz.

A 403, ami nem a szerverről jött

Megnéztük az érintett URL-eket az URL Inspection toolban. Mindenhol ugyanaz:

  • Crawl allowed? Yes
  • Page fetch: Failed: Blocked due to access forbidden (403)
  • Indexing allowed? N/A
  • URL is not on Google
403-as hibakód Google Search Console-ban

A robots.txt tehát nem tiltott. Az oldal technikailag hibátlan volt, indexelhető, és böngészőből 200-zal jött be. A Googlebot viszont 403-at kapott, vagyis a szerver (vagy ami előtte áll) azt mondta neki: ide te márpedig nem jöhetsz be.

Megnéztük a Cloudflare naplót. A kérések hiteles Googlebottól jöttek, Google IP-ről, és a Cloudflare 403-mal dobta vissza őket. Az origin szerverig el sem jutottak.

Szóval ez nem egy kamubot volt, és nem is egy WAF-szabály false positive-ja. Ez tényleg az igazi Googlebot volt, és a Cloudflare tudatosan zárta ki.

A Google be akart jönni, de a rendszer nem engedte be.

A bűnös: a Training robotok tiltása

A hiba oka: Cloudflare-ben a Training kategória, vagyis az AI-modelleket tanító crawlerek tiltásra voltak állítva.

Ha nem követed ilyen mélyen a szakmát, röviden: a Cloudflare idén átalakította, hogyan kezeli az AI-hoz kötődő robotokat. A gond az, hogy a Googlebot nem tiszta keresőrobot. Ugyanaz a bot indexel a kereséshez, és gyűjt olyan tartalmat is, ami AI-tanításra használható. A Cloudflare ezért vegyes célú botként kezeli, és a legszigorúbb szabályt alkalmazza rá. Ahol a Training tiltva van, ott a keresést és tanítást is végző crawlert is Training crawlerként kezeli.

Magyarul: aki a GPTBotot és társait akarta kitiltani, az végül a Googlebotot is kitiltotta. De nem volt ez mindig így.

Mikor változott a besorolás?

Ez nem titokban történt, csak elég kevesen olvasták el a bejelentéseket kellően alaposan. Az idővonal:

Dátum Mi történt
2025. július A Cloudflare elindította az egykattintásos AI botblokkolást. Ezt sokan bekapcsolták, akkor még elsősorban a tisztán tanító botokat fogta meg.
2026. július 1. Az AI-hoz kötődő botokat három fő típusra bontották: Search, Agent és Training. A Cloudflare azt írta, hogy a „Verified” státuszt többé nem tekinti alapból engedélyezettnek.
2026. augusztus A Search Engine Journal beszámolt egy r/TechSEO-s esetről, ahol az AI Training = Block beállítás után a Googlebot és a Bingbot 403-at kapott a sitemapra.
2026. szeptember 15. A Cloudflare dokumentációja szerint innentől minden, AI training tiltására szolgáló konfiguráció a keresést és tanítást kombináló, vegyes célú crawlereket is blokkolja. Ugyanekkor jött a kíméletesebb Disallow opció (lásd lent).
2026. november 4. A „Configure AI bot policies” beállítást átnevezték „AI Crawler and Agent access policies”-re, és bekerültek a személyes ügynökökre (Personal Agents) vonatkozó egyedi beállítások.

Vagyis idén ősztől elkezdett megváltozni a CF hozzáállása a botok tiltása kapcsán. Ő egyébként erről szólt. Legfeljebb nem mindenki figyelt rá. Jelen esetben az oldal fejlesztője jóindulatból tiltotta az AI botokat, mert az volt a mondás, hogy ez a best practice. Majd pár hónappal később "valami megváltozott".

A beállítás ugyanaz maradt, csak a jelentése változott meg mögötte.

Amit pár hónapja az AI ellen kapcsoltál be, az ma a Google ellen is dolgozik.

A probléma alapból onnan ered, hogy a Googlebot kvázi kettős felhasználású bot, mert ebben az értelmezésben egyszerre Search bot és Training bot. Aki pedig kézzel átállította, hogy tiltja a Training botokat, az végül kitiltotta a Googlebotot is. Aki egyébként néha "helytelenül" nem csinált semmit, az most jól járt. Aki ki akarta zárni kifejezetten a Training botokat, az kizárta. De járulékosan most már a Googlebotot is.

Hol találod ezt a Cloudflare-ben?

Ha használsz Cloudflare-t, akkor ezt nézd meg.

Security → Settings, majd a szűrőben Bot traffic, és ott az AI Crawler and Agent access policies sor.

Cloudflare Security → Settings → Bot traffic, benne az AI Crawler and Agent access policies sor.

AI bot tiltás beállítása Cloudflare-benÉs ezek legyenek ideálisan a beállítások.AI bot tiltás Cloudflare-ben

AI Crawler and Agent access policies: Search, Training, Agents és Personal Agents beállítások

Három fő kategória van:

  • Search: a keresőkhöz indexelő botok.
  • Training: az AI-modelleket tanító crawlerek.
  • Agents: a valaki nevében böngésző AI-ügynökök. Alatta külön a Personal Agents, ahol ügynökönként is lehet szabályt adni.

Mindhárom kategória kaphat Block, Block on pages with ads vagy Allow értéket, a Training ezen felül kaphat Disallow értéket is.

Mi a javasolt beállítás?

Kategória Javaslat Miért
Search Allow (do not block) Erről nincs mit vitatkozni. Enélkül nincs organikus forgalom.
Training Allow, vagy ha nem akarod, hogy tanítsanak a tartalmadon: Disallow.De Soha ne legyen Block. A Block a Googlebotot, a Bingbotot és az Applebotot is magával viszi.
Agents Allow (do not block) Ezek hozzák a forgalmat az AI-asszisztensekből. GEO szempontból kár kizárni őket.

Itt most a Training sor a kulcs. A Disallow AI Training a robots.txt-be írja a "ne taníts" preferenciát, a Googlebot, az Applebot és a Bingbot pedig közben továbbra is crawlolhat a kereséshez. A Block beállítás ezzel szemben teljesen megállítja ezeket a crawlereket, a keresést is beleértve.

A Google oldalán a training külön is kezelhető a robots.txt-ben a Google-Extended tokennel. Ez a Googlebot keresési hozzáférését viszont nem érinti.

És egy SEO-s / GEO-s megjegyzés: aki azért tiltja az AI-t, hogy "megvédje" a tartalmát, és ezzel a Googlebotot is kizárja, az az AI Overviews-ból és az AI Mode-ból is kiesik, hiszen azok is a Google indexére épülnek. Így az AI-ban sem fog látszani, és a klasszikus keresőben sem.

Erre mondják, hogy magasról lehet nagyot bukni.

Javítás

Mivel megvan a bűnös (a fejlesztő és a korábbi alapból jó szándékú beállítás), a javítás sem bonyolult:

  1. A Training beállítás átállítása Allow-ra (vagy Disallow-ra). Utána a Googlebot újra átjutott, a naplóban 200-as válaszok jöttek.
  2. Indexelési kérés a GSC-ben a legfontosabb URL-ekre. Az URL Inspection újra zöld pipát mutasson! URL is on Google, Page is indexed.
  3. Sitemap újraküldése, hogy a Google minél hamarabb végigmenjen a teljes oldalon.
  4. Javítás validálása a Page indexing riportban a Blocked due to access forbidden (403) hibánál, a „Validate fix” gombbal.
URL inspection válasz Google Search Console-ban

Gyors volt a javítás? Igen. Elkerülhető lett volna? Igen.

Ami egyrészt szenzációsan izgalmas, és egyben ijesztő is ebben az új / gyorsan változó világban:

Az "én nem nyúltam semmihez" még nem jelenti azt, hogy tényleg nem is változott semmi.

Simán előfordul, hogy valaki olvas egy cikket, hogyha túl nagy a terhelés az oldaladon, akkor csak bökj át egy kapcsolót Cloudflare-ben, az tiltja a "nem hasznos botokat". Majd megcsinálja. Munka elvégezve, pipa. Aztán pár hónappal később meg kiderül: ez a módosítás okozta, hogy elszállt a projekt minden organikus forgalma.

Ha biztosra akarsz menni, akkor mindig ellenőrizz. Az AI botokat például a mi ingyenes eszközünkben is tesztelni tudod: https://thepitch.hu/ai-bot-ellenorzes/

Hírlevél

Tetszett a cikk? Szeretnél még több ilyet olvasni?

Akkor iratkozz fel és küldünk egy e-mailt, ha hasonló cikket írunk!

A Hírlevélre iratkozol fel. A hírlevélről később bármikor leiratkozhatsz.

Papp Gábor
Szakmai vezető, The Pitch

2015 óta vezetem a The Pitch szakmai munkáját, a csapattal évente több mint száz ügyfélnek segítünk. Egyik szakmai szervezője vagyok a Digital Cube Confnak, az ország legnagyobb analitika, PPC és SEO konferenciájának. A képzésen azt adom át, ami az ügyfélmunkában tényleg működik.

Kapcsolódó cikkek