Rohlik.cz - produkty a ceny neviditelné pro ChatGPT a Perplexity
Všechny AI boti dostanou od serveru odpověď 200 a robots.txt je vítá - přístup je otevřený. Problém leží jinde: domovská stránka vydá ve statickém HTML jen 17 % svého finálního obsahu, zbytek dokreslí až JavaScript. Celý produktový výpis i ceny proto ChatGPT, Perplexity a Claude ve svých crawlerech nevidí - čtou jen holou HTML kostru bez jediného produktu. Totéž platí pro stránky značek, kde se produkty načítají výhradně přes JavaScript.
Přístup AI botů
Výsledky HTTP sondování domovské stránky a stav v robots.txt. Web běží na Cloudflare - HTTP výsledky jsou orientační, skutečné chování IP-ověřených botů (Googlebot, bingbot, Applebot) prověř přes logy nebo webmasterské nástroje.
| Bot | Co dělá | robots.txt | HTTP přístup | Pohání |
|---|---|---|---|---|
| GPTBot | Crawler - trénink ChatGPT | povolen | 200 OK | ChatGPT |
| OAI-SearchBot | Crawler - citace v ChatGPT Search | povolen | 200 OK | ChatGPT Search |
| ChatGPT-User | Uživatelsky spuštěný - živé načítání při dotazu v ChatGPT; robots.txt ho nezavazuje | deklarovaná preference | 200 OK | ChatGPT |
| ClaudeBot | Crawler - trénink a indexace Claude | povolen | 200 OK | Claude |
| Claude-SearchBot | Crawler - citace v Claude | povolen | 200 OK | Claude |
| Claude-User | Uživatelsky spuštěný - živé načítání při dotazu; respektuje robots.txt (výjimka v pravidlech Anthropic) | povolen | 200 OK | Claude |
| PerplexityBot | Crawler - index Perplexity; deklarovaně respektuje robots.txt | povolen | 200 OK | Perplexity |
| Perplexity-User | Uživatelsky spuštěný - živé načítání při dotazu v Perplexity; robots.txt obecně ignoruje | deklarovaná preference | 200 OK | Perplexity |
| bingbot | Crawler - Bing a podklad pro Copilot odpovědi | povolen | 200 OK (orientační) | Bing / Copilot |
| Googlebot | Crawler - Google index, základ pro AI Overviews a Gemini | povolen | 200 OK (orientační) | Google AI / Gemini |
| Applebot | Crawler - Apple Intelligence a Siri; spouští JavaScript | povolen | 200 OK (orientační) | Apple Intelligence |
| DuckAssistBot | Uživatelsky spuštěný - AI odpovědi DuckDuckGo; respektuje robots.txt | povolen | 200 OK | DuckDuckGo AI |
| Amazonbot | Crawler - Alexa a Rufus; může sloužit k tréninku AI | povolen | 200 OK | Amazon AI |
| CCBot | Crawler - Common Crawl; data používá většina tréninků LLM | blokován na všech 12 testovaných URL | 200 OK | trénink LLM (Common Crawl) |
Cloudflare CDN: HTTP sondy odesílám s UA daného bota z externího stroje - výsledky jsou orientační. Bingbot, Googlebot a Applebot ověřují svoji identitu IP adresou, ne UA řetězcem, takže anti-spoofing pravidla Cloudflare je na vstupu neovlivní. Skutečný stav ověř přes Bing Webmaster Tools, Google Search Console nebo 30denní CDN logy.
ChatGPT-User a Perplexity-User jsou uživatelsky spuštěné fetchery - robots.txt pro ně slouží jen jako deklarovaná preference, nikoliv jako závazné pravidlo.
bingbot, Googlebot a Applebot: výsledek HTTP sondy nelze použít jako průkaz reálného přístupu na CDN-frontovaném webu - viz metodika níže.
Souhlas s trénováním a deklarované signály
robots.txt tokeny pro opt-out z trénování AI, llms.txt a případné Content-Signal hlavičky.
| Token / signál | Stav | Dopad |
|---|---|---|
Google-Extended | nenalezen - implicitní souhlas | Gemini Apps a Vertex AI mohou obsah Rohlik.cz použít při tréninku i jako kontext; blokování nemá vliv na AI Overviews ani AI Mode (ty řídí Googlebot) |
Applebot-Extended | nenalezen - implicitní souhlas | Apple Intelligence může obsah webu zahrnout do tréninku modelu |
CCBot | blokován na všech URL | Common Crawl data (a tím pádem většina LLM tréninkových korpusů) neobsahuje obsah Rohlik.cz - dopad na viditelnost ve výsledcích ChatGPT a podobných nástrojů závislých na Common Crawl |
| llms.txt | přítomen | Soubor existuje - jde o informační signál; zatím žádný hlavní AI vendor nepotvrdil jeho automatické zpracování |
Absence záznamu Google-Extended nebo Applebot-Extended v robots.txt = implicitní souhlas s trénováním. Pokud chceš trénování omezit, přidej záznamy explicitně.
Blokování CCBot přes robots.txt je záměrné opt-out rozhodnutí a respektujeme ho jako takové.
Indexační direktivy stránek
Kontrola noindex, nosnippet a noarchive flagů na vzorku 8 testovaných stránek. Žádná testovaná stránka neobsahuje ani X-Robots-Tag hlavičku.
| Stránka | noindex | nosnippet / max-snippet | noarchive | Dopad na AI |
|---|---|---|---|---|
| Domovská stránka | ne | ne | ne | Beze změny |
| Produktová stránka (Nivea) | ne | ne | ne | Beze změny |
| Produktová stránka (hamburgerová bulka) | ne | ne | ne | Beze změny |
| Kategorie (pekárna a cukrárna) | ne | ne | ne | Beze změny |
| Kategorie (trvanlivé) | ne | ne | ne | Beze změny |
| Stránka značky (Zyn) | ne | ne | ne | Beze změny |
| Editoriální stránka (10 kroků k Rohlíku) | ne | ne | ne | Beze změny |
| Editoriální stránka (opalovaky) | ne | ne | ne | Beze změny |
Na žádné z 8 testovaných stránek se nenachází noindex, nosnippet ani noarchive direktiva - ani v meta tagu, ani v X-Robots-Tag hlavičce. Stránky jsou z pohledu indexačních direktiv čisté.
Viditelnost obsahu podle typu stránky
Srovnání toho, co vidí crawler bez JavaScriptu (statické HTML - GPTBot, ClaudeBot, PerplexityBot) oproti tomu, co zobrazí prohlížeč (Googlebot, bingbot, Applebot). Vzorek: 5 typů stránek z 33 718 URL v sitemapě. Sitemap aktuální - poslední záznam z 2026-06-19.
| Typ stránky | Statické HTML (znaky) | Po JavaScriptu (znaky) | Co nevidí GPTBot / PerplexityBot / ClaudeBot | Verdict |
|---|---|---|---|---|
| Domovská stránka | 3 681 | 21 706 | Celý produktový výpis: názvy produktů s cenami, kategorie nabídky, věrnostní programy Rohlík Xtra a Rohlíček včetně benefitů - vše se načítá JavaScriptem | Kritické JS-gating |
| Stránka značky (brand search) | 1 882 | 3 611 | Veškeré produkty dané značky včetně názvů, cen a slevových nabídek - záhlaví stránky je ve statickém HTML, produktová část se celá načítá JavaScriptem | Kritické JS-gating |
| Kategorie | ~3 500 | ~4 100 | Část produktového vzorku v sekci přibývá po JavaScriptu; navigace a záhlaví jsou ve statickém HTML | Mírné JS-gating |
| Produktová stránka | ~6 800 | ~7 200 | Drobné navigační a UI prvky přibývají po JavaScriptu; název produktu, cena a popis jsou ve statickém HTML | Malý rozdíl - popis v HTML |
| Editoriální stránka (téma) | ~3 250 | ~3 600 | Minimální rozdíl - navigace a drobné prvky; obsah kampaně je ve statickém HTML | Malý rozdíl |
Boti, kteří JavaScript nespouštějí (GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, ClaudeBot, Claude-User, Claude-SearchBot, CCBot, DuckAssistBot, Amazonbot): čtou statické HTML.
Boti, kteří JavaScript spouštějí (Googlebot, bingbot, Applebot): vidí plný obsah po vykreslení - produkt listy na domovské stránce, stránky značek i kategorie.
Produktové stránky jsou výjimkou: jejich hlavní obsah (název, cena, popis) je ve statickém HTML a crawlery ho vidí.
JS-gating na domovské stránce a stránkách značek = obsah, který ChatGPT, Perplexity a Claude ve svých indexech nemají a nemohou z něj citovat.
Nálezy
Kritické Domovská stránka vydá crawlerům jen 17 % svého obsahu
Ze statického HTML domovské stránky přečte GPTBot, PerplexityBot nebo ClaudeBot pouhých 3 681 znaků - navigaci a prázdnou kostru. Celý produktový výpis s cenami, sekce věrnostních programů a kategoriová nabídka se dokreslují až JavaScriptem; rendered DOM má 21 706 znaků. Domovská stránka Rohlik.cz v indexech ChatGPT, Perplexity ani Claude fakticky neexistuje jako stránka s produkty a cenami. Google AI Mode, Gemini a Copilot tento obsah vidí, protože jejich crawlery JavaScript spouštějí.
Domovská stránka: raw_text_length 3 681 znaků, rendered_text_length 21 706 znaků (js_added obsahuje produkty, ceny, věrnostní programy)
Kritické Stránky značek nemají v HTML žádné produkty
Na stránce značky (testováno na Zyn) obsahuje statické HTML jen 1 882 znaků - záhlaví stránky bez produktů. Všechny produkty dané značky včetně názvů, cen a slevových nabídek se načítají JavaScriptem; rendered DOM má 3 611 znaků. Pro crawlery ChatGPT a Perplexity jsou proto stránky značek prázdné - při hledání produktů konkrétní značky v těchto nástrojích Rohlik.cz nevystupuje jako zdroj.
Brand search (Zyn): raw_text_length 1 882 znaků, rendered_text_length 3 611 znaků; js_added obsahuje produkty a ceny
Střední Kategoriové stránky ukazují crawlerům jen část svého sortimentu
Na testovaných kategoriových stránkách (Pekárna a cukrárna, Trvanlivé) je ve statickém HTML přibližně 3 500 znaků, po JavaScriptu kolem 4 100 znaků. Část produktového vzorku v dané sekci přibývá až po spuštění JavaScriptu. Dopad je menší než u domovské stránky, ale i zde ChatGPT nebo Perplexity vidí kategorii spíše jako navigační stránku než jako přehled zboží s cenami.
Kategorie pekarna-a-cukrarna: raw 3 513 / rendered 4 294 znaků; kategorie trvanlive: raw 3 477 / rendered 4 035 znaků
Nízké CCBot je zablokován ve robots.txt - Common Crawl neindexuje Rohlik.cz
robots.txt blokuje CCBot na všech 12 testovaných URL. Common Crawl je veřejný archiv webu, který slouží jako tréninkový zdroj pro ChatGPT, Llama, Mistral a desítky dalších jazykových modelů. Blokování CCBotu znamená, že Rohlik.cz do těchto tréninků nevstupuje - modely o webu vědí méně, než by mohly. Jde o záměrné rozhodnutí, které má svoji logiku (ochrana cenových dat), ale stojí za to ho vědomě zvážit.
robots.txt: CCBot blokován na indexech 0-11 z 12 testovaných URL
Co dělat dál
Akce seřazené podle dopadu - od největšího.
- 1. Zaveď SSR nebo prerenderování pro domovskou stránku Kritické
Toto je největší dopadová změna. Domovská stránka dnes vydá crawlerům 3 681 znaků místo 21 706. Nastav server, aby pro požadavky identifikující se jako GPTBot, PerplexityBot nebo ClaudeBot vrátil plně vyrenderované HTML - buď přímo přes Next.js/Nuxt SSR, nebo přes prerender middleware (např. Prerender.io, Rendertron). Otestuj výsledek porovnánímcurl -A "GPTBot/1.0" https://rohlik.cz/před a po. - 2. Stejný přístup aplikuj na stránky značek Kritické
Stránky/hledat/znacka/*mají stejný problém jako domovská stránka - produkty jsou výhradně v JavaScriptu. Zahrň je do stejného SSR/prerender řešení. Prioritizuj značky s největším objemem vyhledávání. - 3. Kategoriové stránky - přidej alespoň první produktový řádek do statického HTML Střední
Pro kategorie stačí menší zásah: zajisti, aby ve vyrenderovaném HTML bylo vždy 6-12 produktů s cenami. ChatGPT a Perplexity pak kategorii uvidí jako přehled zboží, nikoliv jako prázdnou navigaci. - 4. Ověř skutečný přístup Googlebotu a bingbotu přes webmasterské nástroje Ověření
HTTP sondy Googlebotu a bingbotu jsou na Cloudflare-frontovaném webu orientační - anti-spoofing pravidla cílí přesně na falešné UA řetězce, zatímco reálné crawlery se identifikují IP adresou. Ověř v Google Search Console (Crawl stats) a Bing Webmaster Tools, že reální crawlery stránky skutečně navštěvují v očekávaném objemu. - 5. Vědomě rozhodni o CCBotu a Google-Extended Strategie
robots.txt dnes blokuje CCBot (Common Crawl - tréninkový zdroj většiny LLM) a neobsahuje Google-Extended ani Applebot-Extended (implicitní souhlas s trénováním Gemini a Apple Intelligence). Prodiskutuj s týmem, zda tento stav odpovídá záměru - zejména u CCBotu zvažuj kompromis mezi ochranou dat a viditelností v AI nástrojích.