Kdo to je crawler?

Crawler je program, který prochází internetové dokumenty a přes HTTP protokol si o nich ukládá důležitá data jako jejich obsah, metadata (datum stažení dokumentu, hash dokumentu, zda došlo ke změně dokumentu od poslední návštěvy apod.), případně informace o zpětných odkazech. Výsledky crawlování se ukládají do databáze vyhledávače a poté je zpracovává další robot na datovou strukturu, tzv. index. Fulltextové vyhledávače při položení dotazu vyhledávají až v tomto indexu.

Zdroj: http://progra­mujte.com/cla­nek/2014010200-princip-fungovani-fulltextovych-vyhledavacu-i-crawler/

Kazdy internetovy vyhledavac ma urcity program (crawler, (ro)bot), ktery proleza internet a navstevuje, stahuje, pripadne vytvari snapshoty navstivenych stranek pro potreby indexace. De facto prvni krok, proto aby se dane stranky zacly zobrazovat i ve vysledcich vyhledavani nektereho vyhledavace je navsteva jejich crawlera.