Výrazné navýšení velikosti databáze robota

30. září 2016

Víme, že se internet neustále rozrůstá a chceme aby byl Seznam stále dobrým pomocníkem při hledání informací. Proto letos pracujeme na zvýšení počtu webových stránek v databázi hledání.

Vyhledávač má ve skutečnosti dvě databáze. V jedné (tzv. indexu) jsou webové stránky uložené tak, aby je bylo možné rychle najít na dotazy uživatelů. Druhou databázi, ze které index čerpá data, spravuje robot, který stahuje obsah z internetu. Databáze robota je důležitá pro pochopení souvislostí mezi webovými stránkami. Čím větší je, tím větší má vyhledávač přehled o struktuře internetu. Databáze robota od roku 2014 obsahuje 1,5 miliardy stažených webových stránek a miliardu stažených obrázků. Letos jsme udělali úpravu, po které zvládne robot databázi spravovat i po výrazném navýšení její velikosti.

Díky dokončení druhého sálu datacentra Kokura v Horních Počernicích jsme mohli pořídit stovky nových serverů a zahájit navyšování velikosti databáze. K dnešnímu dni máme v databázi robota uložené 2,5 miliardy stažených webových stránek a 2 miliardy stažených obrázků. Jinými slovy jsme v databázi robota navýšili počet dokumentů o dvě třetiny a počet obrázků na dvojnásobek.

Od léta si změn mohli všimnout provozovatelé webů, když robot začal navštěvovat více různých stránek na jejich webech. Provedené změny byly nezbytným prvním krokem k navýšení počtu stránek, ve kterých budeme hledat odpověďi na dotazy uživatelů.

Více stránek v hledání se můžete těšit již tento podzim.

Sdílet na sítích