Stěhování části web-crawlera do nové serverovny

Seznam.cz spouští vlastní serverovnu v Horních Počernicích, kterou pojmenoval Kokura.

Kromě jiných služeb se do ní bude stěhovat i část fulltextového robota. Bude to náročná akce, kdy bude potřeba odpojit, vymontovat, zabalit, převést, vybalit, namontovat, zapojit a překonfigurovat více, než 160 serverů, které obsahují databázi miliard webových stránek.

Stěhování je plánované na období od prvního do třetího dubna. Po tuto dobu je možné, že se sníží frekvence návštěv SeznamBota na webové stránky. Frekvence návštěv tzv. “fresh” robota, který navštěvuje hlavně RSS kanály a dodává do hledání aktuální zpravodajské výsledky, zůstane nezměněna.

Se stěhováním se změní také některé IP adresy, ze kterých SeznamBot stránky stahuje. Adresy protokolu IPv4 se z masky “77.75.73.xx” změní na “77.75.79.xx”. IPv6 adresy, ze kterých teď návštěvy SeznamBota přicházejí na webové servery, které to podporují, lze poznat dle prefixu “2a02:598:”.

Aktuální IP adresy SeznamBota se dají vždy zjistit dotazem na DNS na adresu fulltextrobot.seznam.cz, například v linuxu příkazem host:

$ host fulltextrobot.seznam.cz

Informace o IP adresách budou po stěhování aktualizovány i v nápovědě.

  • Tak zabalit hlavně velkou svačinu a energetický drinky, to budou dlouhé noci 🙂

  • Tak ať se vám robot někde nezatoulá. Co kdyby nemohl zpátky do domečku? 🙂

  • Díky za ty IP.

  • Tak ho hlavně nejen přestěhujte, ale i konečně opravte.