Změna interpretace robots.txt SeznamBotem

V dávných internetových dobách se stávalo, že webmaster neúmyslně znepřístupnil celý svůj web pro webové vyhledávače v robots.txt příkazem

User-agent: *
Disallow: /

V zájmu dodání více výsledků do hledání SeznamBot na takovém webu chodil alespoň pro homepage. Pokud chtěl webmaster zamezit SeznamBotovi přístup úplně, musel do robots.txt přidat direktivu, která návštěvy webu zapovídala jmenovitě SeznamBotovi.

V dnešní době, kdy si webmasteři své weby lépe hlídají, a kdy vyhledávač dokáže zaindexovat stránku i na zákládě jejích zpětných odkazů, už byla taková výjimka z interpretace robots.txt oproti standardu nadbytečná a místy i kontraproduktivní. Proto od minulého týdne SeznamBot respektuje příkazy v robots.txt přesně podle standardu. Více informací o komunikaci se SeznamBotem je v nápovědě.

  • …webmaster neúmyslně znepřístupnil…

    kdepak berete tu jistotu, že neúmyslně?

    • Martine, nejde o jistotu, ale o to, že se to webmasterům stává. Možná častěji, než by člověk čekal.

      • To jste si teď vymyslel nebo pro své tvrzení máte nějaké reálné podklady? Když si vy nebo váš známý znepřístupní touto direktivou web pro roboty, nelze z toho vyvozovat, že se to děje i jiným eh webmasterům. 🙂

  • Proč by jsi měl webmaster odříznout tok ze Seznamu?