Chceš ladit web pro AI? Ověř si, jestli ho roboti vůbec přečtou

Většina návodů na „optimalizaci pro AI” začíná u obsahu. Piš jasně, doplň strukturovaná data, odpovídej na otázky, buduj autoritu. Všechno správně. Jen to přeskakuje krok, který je o úroveň níž: jestli se roboti od ChatGPT, Perplexity nebo Googlu k tvému webu vůbec dostanou a přečtou ho.

Když odpovídá ChatGPT, Perplexity nebo Google v AI režimu, většinou někoho cituje. Tahá si obsah ze stránek, které jeho roboti stáhli a zpracovali. Pokud se k tobě roboti nedostanou, nejsi v odpovědích. Žádné ladění textu na tom nic nezmění, protože ladíš obsah, který si AI vůbec nepřečte.

Proč to řešit zrovna teď

Provoz z AI asistentů roste rychle. Podíl návštěvnosti, kterou weby dostávají z odkazů v ChatGPT a podobných nástrojích, se za rok 2025 zvýšil zhruba sedminásobně, z 0,02 % na 0,15 % celkové návštěvnosti. Pořád je to menšina, ale prudce roste. A taková návštěva může být hodnotná: člověk, který klikne na zdroj z odpovědi AI, většinou přichází s konkrétním záměrem, ne aby teprve začal hledat. V e-commerce taková návštěva nakupuje ochotněji než průměrný příchod z vyhledávání - v analýze 94 e-shopů konvertoval provoz z ChatGPT o 31 % líp než non-brandové organické vyhledávání.

Zároveň přibyly bariéry, které dříve nebyly. Cloudflare, přes který běží velká část webu, od července 2025 u nových domén blokuje AI roboty rovnou ve výchozím nastavení. Spousta webů tak dnes AI omezuje. Část majitelů se tak rozhodla vědomě, velká část o tom nemá tušení, protože rozhodla infrastruktura, ne oni.

Kde se přístup AI na web nejčastěji zadrhne

Z praxe se to často zadrhne na čtyřech místech. Žádné z nich nepoznáš tím, že si otevřeš web v prohlížeči, protože ty ho vidíš jako člověk z běžné IP adresy, ne jako robot jazykového modelu.

Soubor robots.txt. Pravidla, kde webu říkáš, kam roboti smí a kam ne. Problém je, že každý AI robot má vlastní jméno (token). GPTBot od OpenAI, ClaudeBot, PerplexityBot, bingbot, který krmí i Copilota, Google-Extended pro Gemini - každý na web přistupuje jinak. Snadno se stane, že web pustí Googlebota a omylem zakáže zbytek. K tomu Cloudflare na spoustu webů plošně nasazuje do robots.txt řádky, které deklarují „pro vyhledávání ano, pro trénink AI ne” - často aniž by o tom majitel věděl.

Proč zákaz v robots.txt u některých botů neznamená zablokováno

Část robotů robots.txt vůbec neposlouchá, a to záměrně. Když se uživatel v ChatGPT zeptá konkrétně na tvůj web, robot, který si tu stránku jde stáhnout, se podle dokumentace OpenAI pravidly v robots.txt neřídí. Takže „zakázáno v robots.txt” u některých botů neznamená „zablokováno”. Kdo tyhle kategorie míchá, dělá z auditu nesmysl.

Firewall před webem. Častá blokace, které si nevšimneš. robots.txt máš v pořádku, roboty pouštíš, ale ochranná vrstva před webem (CDN nebo firewall, typicky Cloudflare) odmítne požadavek, který se hlásí jako AI robot, ještě než se dostane k obsahu. Web pro lidi funguje normálně. Pro robota například od Perplexity vrací stránku „ověř, že nejsi robot” nebo rovnou zákaz. V robots.txt po tom není ani stopa, takže běžná kontrola nic nenajde.

Obsah, který se doplní až JavaScriptem. Hodně webů pošle do prohlížeče skoro prázdnou stránku a teprve skript v prohlížeči vykreslí text. Googlebot, bingbot a Applebot umí takovou stránku „dopočítat”, takže Google v AI režimu, Gemini, většinou i Copilot a Apple obsah uvidí. Roboti od ChatGPT, Perplexity a Claude ale JavaScript nespouští. Mohou si stáhnout prakticky prázdnou stránku a víc nevidí. Když máš popis produktu nebo tělo článku načítané takhle, tak to je jako kdyby tam nebyl vůbec.

Direktivy pro indexaci. Drobné instrukce v hlavičce stránky jako noindex, nosnippet nebo noarchive umí tiše vyřadit stránku z AI odpovědí, i když je jinak úplně přístupná. Často je tam nechá vývojář z testovacího prostředí a nikdo si jich nevšimne.

Proč to nezvládneš poctivě zkontrolovat ručně

Nabízí se zkratka - otevřít robots.txt a mít jasno. Tak snadné to není.

Robotů jsou desítky a spadají do tří kategorií, které se posuzují jinak. Klasický crawler robots.txt respektuje. Robot vyvolaný uživatelem ho většinou ignoruje. Třetí kategorie, jako Google-Extended, žádný robot není - nic ze stránek nestahuje. Je to jen přepínač v robots.txt, kterým Googlu povolíš nebo zakážeš použít tvůj obsah na trénink AI. Stačí ty kategorie zaměnit a buď zbytečně řešíš blok, který neexistuje, nebo ti unikne ten, co tě reálně stojí místo v odpovědích AI.

Projít každý token zvlášť, otestovat HTTP přístup proti kontrolní návštěvě z běžného prohlížeče, poznat, jestli blokuje firewall, porovnat surovou a dorenderovanou stránku kvůli JavaScriptu, a u toho celou dobu hlídat, co je důkaz a co jen náznak. Ručně je to na hodiny a snadno se to splete.

Co s tím umíme udělat

Na tohle má re:LLMO nástroj - rozšíření do Claude Code. Zadáš adresu webu a projede ji tak, jak ji skutečně vidí AI roboti.

Vezme vzorek různých typů stránek z mapy webu - úvodní stranu, kategorii, produkt, článek - a u každé zkontroluje, jestli má přístup. Pro každého důležitého robota přečte pravidla v robots.txt podle platného standardu. Otestuje HTTP přístup s jménem každého bota proti kontrolní návštěvě a pozná, kdy blokuje firewall nebo CDN. Porovná stránku před spuštěním JavaScriptu a po něm, aby ukázal, co konkrétně nerenderující roboti od ChatGPT, Perplexity a Claude minou. A přitom poctivě odliší, co je prokázaná blokace a co jen indicie, kterou je potřeba ověřit v logu serveru.

Výstupem je přehledná zpráva: kdo tě čte, kdo ne, kde je problém a co s ním. Žádné placené API, žádné přihlašování, pár minut autonomní práce agentů.

Důležitý nultý krok, který má smysl udělat dřív, než vložíš čas a peníze do další tvorby obsahu. Nejdřív se ujisti, že tě AI vůbec přečte. Pak teprve řeš, jak tě cituje.