Rychlejší robot a indexace malých sites

SeznamBot doznal několika vylepšení.

Přes léto jsme se pustili do vylepšování robota, provedené úpravy jsme nasadili a je čas posbírat ovoce. Zcela jsme přepracovali způsob zakládání nových url v databázi, jehož přímým důsledkem je rychlejší indexace nových domén. S tímto měl robot v minulosti velké problémy – často se ponořil hluboko do struktury webu, vybral si mnoho nedůležitých stránek a na ty hlavní zapomněl. Vylepšený robot nejprve založí podstatné stránky a až pak se pustí hlouběji. Jedním z důležitých kritérií pro rozhodování je i obsah sitemapy, jejíž použití můžeme jen doporučit (viz nápověda).


Foto: INT/Blesk.cz

Kromě uvedených úprav se nám daří robota neustále zrychlovat, od začátku roku jsme naši databázi téměř zdvojnásobili, do konce roku se plánujeme dostat na více než trojnásobek. A další vylepšení na sebe jistě nenechají dlouho čekat.

  • [1]Jen tak dál! ;o)

  • [2]nová zpráva sice až po 3 měsících, ale o to lepší 🙂

  • [3]Nejlepší je stejně ten obrázek, pořád jsem nevěděl, jak vypad ten robot který ke mě chodí a Seznam to konečně prozradil 🙂

  • [4]Musím potvrdit, ze robot teď reaguje velmi rychle. Do hodiny po přidání stránek prostřednictvím seznamáckého formuláře se na nich objevil.

  • [5]Dobrá zpráva, uvidíme, jak to bude vypadat v reálu.

  • [6]Ano, byl jsem příjemně překvapen rychlostí indexace nových webů

  • Stoural

    [7]A co ta relevance kluci? na tu se podíváte kdy? blogísky na prvních stranách to nemyslíte vážne? k čemu databáze miliardy blogísků když neumíte doporučit to co lidi hledají?

  • Ivo

    [8]Oproti google který dokáže přijít sekundu po vydání nového stránky máte stále pořád co dohánět.

  • Martin

    [9]Vzhledem k cílovce, která používá Seznam vyhledávání, jsou blogísky na první stránce zcela relevantní výsledek 🙂 S Googlem se s českým rozpočtem a s českými hlavami bojovat nedá.

  • [10]To je dobrá zpráva, s přidáváním a procházením nových nebo inovovaných webů to opravdu bylo někdy na dlouhé lokte. Podtrhl bych některé z komentářů výše o relevanci.. občas skutečně vyjíždí vysoko podivné weby

  • [11]Tak to je dobrá zpráva… jsem na robota zvědavý… 🙂

  • Ondřej Machala

    [12]Nový robot jistě bude fine, jen by mne zajímalo co se ke konci prázdnin se Seznamem stalo, že ztratil takové množství uživatelů? Z mých statistik ještě před prázdninami u mě Seznam zajišťoval 80% návštěvníků přicházejících z vyhledáváčů a nyní je to s Googlem 50:50. Tak mě napadá, jestli ti uživatelé přešli na Google nebo seznam fulltext degradoval?

  • [13]Skvělé. Fajn je to, že nově vzniklé weby budou daleko rychleji indexovány.

  • [14]Takže je bílej a modrookej ten robot. Já si to myslel 🙂 Chci ho teda k Vánocům taky.

  • maja

    [15]chvilku počkejte až se seznam proda zahranicnimu investorovi a ten tam pak hned nasadi google a bude klid:o))

  • [16]No, jedny moje nové stránky Seznam do výsledků vyhledávání zahrnul už druhý den (po přidání do formuláře), velký G ani po týdnu nic…

  • dony

    [17]vyborne, ted osetrit relevanci, zkuste si napriklad zadat “c++” , se seznamem moc nepochodite, vlastne rekl bych ze neumet na tak znamy pojem ze sveta IT zareagovat je celkem slusne fiasko, toto bych pochopil u nejake zkusebni verze noveho vyhledavace…..

  • [18]Skvela prace. Musim rict, ze se Seznambot opravdu zlepsuje, preji hodne stesti do dalsiho vyvoje.

  • Roman

    [19]Na rybářský dotaz “lov lína” google najde celou stránku relevantních výsledků, kdežto seznam vrátí jeden správný výsledek a zbytek blbosti… trochu velký rozdíl

  • js

    [20]A zacne nyni respektovay crawl-delay? Minuly tyden hammeroval muj web cca 2req/sec. Vydrzelo mu to cca 2 hod na uplne nedulezitych strankach

  • [21]jen tak dál.

  • Michal Hejc

    [22]No otazkou je, zda dvojnasobna, pripadne trojnasobna databaze indexovanych stranek a tedy zrychleni indexace je podstatnejsi nez relevance vysledku. A ja tvrdim ze ne. To co se delo s fulltextem za poslednich nekolik mesicu byla opravdu katastrofa. Je pravdou, ze v poslednim tydnu doslo k urcitemu zlepseni, avsak stale tech nerelevantnich vysledku je velka spousta. Takze jak se rika: Seznam najdu tam co neznam, Google najdu tam co hledam.

  • [23]Ale jo, určitě tato správa potěší mnoho lidí že jejich stránka bude brzo ve výsledcích hledání.

  • [24]Ja som sa potesil tejto sprave a tiez to uistenie o sitemape tiez potesi 🙂

  • aMk

    [25]tak to je celkem super zprava. o prazdninach bylo znat, ze to dost casto drhlo… jen tak dal.

  • Radúz

    [26]A jakpak to bude se stálostí výsledků ve vyhledávání vašim fulltextem? Z praxe vím, že jedna stránka se na klíčové slo ve výsledku hledání někdy pohybuje + – 10 až 20 pozic.

  • [27]Ano, taky jsem pocítil změnu k lepšímu; indexace teď probíhají opravdu rychleji, mnohem rychleji v porovnání s indexací stránek VideoForum.cz, které trvalo plusminus dva měsíce (a to jsem to ještě notně urychlil četnými telefonáty na oddělení servisního týmu Seznamu)!!! Pokud robot bude alespoň šlapat na paty crowlerům od Googlu, budu spokojen :-). Uvidím, jak bude makat při indexaci nových projektů. Lukáš http://www.VideoForum.cz Jedinečná instruktážní how-to videa

  • OK

    [28]Bylo by velmi příjemné zavést “sitemap ping”. Tj. adresu kde je možné vašeho robota upozornit na nový web resp. na jeho sitemap.xml. Ping využívá řada velkých vyhledávačů google, yahoo, msn, ask.com, …

  • [29]Myslím, že na tuto změnu čekala drtivá většina zainteresovaných. Poslední dobou to bylo čím dál tím horší. Takže Díky za změnu…

  • [30]A já si říkal, čím to je, že se mi počet zaindexovaných stránek zdvojnásobil 🙂

  • [31]jj, taky pozoruju vylepseni 🙂 dobra zprava / prace 🙂 jen tak dal

  • [32]Slova o zdvojnásobení databáze jsou k zamyšlení. Na zrychlení se těšíme.

  • jj

    [33]Pěkná blbost, už mám stránky 5 měsíců a váš slavnej robot mi je do dneška nebyl schopnej zaindexovat. gratuluju, jen tak dál.

  • [34]Ten stejný problém, seznam po měsíci provozu (zkušebního) zná jen uvodní stránku..