Freshbot, který do hledání dodává nově vzniklé zpravodajské články, stahuje od listopadu téměř o 30% rychleji. Rychlost jsme zlepšili díky novému procesu stahování webových stránek, jehož nejdůležitější částí je nová komponenta Dolores. Novinky z internetu se tak dostanou dříve do hledání a k uživatelům.
V průběhu roku 2016 jsme přidávali počty zdrojů, kde Freshbot hledá nový obsah, a kvůli tomu původní způsob stahování přestával technologicky i výkonností vyhovovat. Proto jsme jej nahradili novou komponentou Dolores, jejíž název je akronymem z „Downloader Services“.
Po nasazení jsme změřili, že počet webových stránek, které Freshbot posílá k indexaci takřka okamžitě potom, co je objeví, se díky Dolores zvýšil na dvacetinásobek. Aktuálně Dolores stahuje v průměru tisíc dokumentů za minutu.
V průběhu dne nastávají výkyvy v počtu nově vzniklých webových stránek, například noční publikace článků na zpravodajských serverech. Díky lepší stabilitě a propustnosti Dolores, a tím i celého Freshbota, tyto výkyvy už indexaci nově vzniklých webových stránek nezpomalují.
Zatím jsme na začátku toho, co od Dolores očekáváme.
