Změna interpretace robots.txt SeznamBotem

19. listopadu 2015

V dávných internetových dobách se stávalo, že webmaster neúmyslně znepřístupnil celý svůj web pro webové vyhledávače v robots.txt příkazem

User-agent: *
Disallow: /

V zájmu dodání více výsledků do hledání SeznamBot na takovém webu chodil alespoň pro homepage. Pokud chtěl webmaster zamezit SeznamBotovi přístup úplně, musel do robots.txt přidat direktivu, která návštěvy webu zapovídala jmenovitě SeznamBotovi.

V dnešní době, kdy si webmasteři své weby lépe hlídají, a kdy vyhledávač dokáže zaindexovat stránku i na zákládě jejích zpětných odkazů, už byla taková výjimka z interpretace robots.txt oproti standardu nadbytečná a místy i kontraproduktivní. Proto od minulého týdne SeznamBot respektuje příkazy v robots.txt přesně podle standardu. Více informací o komunikaci se SeznamBotem je v nápovědě.

Sdílet na sítích