sCrawler

Leírás

Végtelen számú oka van annak, hogy egy személy vagy cég miért szeretne webrobot szoftvert használni. Az ilyen típusú programok meghatározott módon böngésznek a weben, amely lehet automatizált, módszeres vagy rendezett módon. Ha még nem ismeri a webrobot szoftver kifejezést, talán hallott már pókokról, botokról, hangyákról, automatikus indexekről, robotokról vagy scutterekről? Alapvetően mind ugyanaz!

A webrobot szoftver célja

Ha a webes feltérképező szoftverekre gondol, valószínűleg olyan nagy nevű keresőmotorokat képzel el, mint a Google, a Bing és a Yahoo. A robotjaik végigjárják a weboldalakat, hogy meghatározzák a tartalmat, a relevanciát és az indexelést. A meglátogatott oldalak másolatának létrehozásával gyorsabb és pontosabb keresést biztosíthatnak. Az SqrBox azt fogja mondani, hogy biztosan nem kell keresőmotornak lenni ahhoz, hogy webrobot szoftverre legyen szüksége. Egyszerűen valakinek kell lennie, akinek nagy mennyiségű vagy rendkívül bonyolult információra van szüksége.

A webrobot szoftverek típusai

Ha egy professzionális cég, például az SqrBox szolgáltatásait tervezi igénybe venni, nem igazán kell foglalkoznia a webbejáró szoftverekkel kapcsolatos bonyolult nyelvezetekkel. Ennek ellenére hasznos megérteni néhány dolgot ezzel kapcsolatban.

Fókuszált feltérképezés – Az ilyen típusú webrobot szoftverek célja olyan oldalak letöltése, amelyek látszólag hasonló információkat tartalmaznak. Ennek a módszernek azonban gyakran vannak hibái, és a bejáró tényleges teljesítménye és az eredmény attól függ, hogy mennyire gazdagok a linkek az adott keresett témában. Az ilyen típusú webrobot-szoftvereket gyakran használják kiindulási pontként a további feltérképezéshez szükséges keresések szűkítésére.

URL-normalizálás – a webrobot-szoftver gyakran végrehajt bizonyos szintű URL-normalizálást, ami segít csökkenteni az ugyanazon forrás többszöri ismétlődő feltérképezését.

A követett hivatkozások korlátozása – Egyes esetekben a webrobotok elkerülhetnek bizonyos webes tartalmakat, és csak a .html oldalakat keresik. Ehhez gyakran meg kell vizsgálni az URL-t, majd csak akkor kérnek forrásokat, ha az URL-ben bizonyos karakterek vannak, például .html, .asp, .htm, .php, .aspx, .jspx vagy .jsp. A webrobot szoftver általában figyelmen kívül hagyja a "?" hogy elkerülje a pókcsapdákat.