Chociaż niewiele osób nie kojarzy określenia “Crawler” to tak naprawdę miała z nim wiele razy do czynienia. Zwłaszcza dotyczy to pozyconerów i osób zajmujących się budową stron internetowych.
Co to jest Crawler?
Crawler (od ang. “crawl”- czołgać się) to robot indeksujący, bot wyszukiwarki (automatyczny program) czasem nazywany też pająkiem. Program ten używany jest przez wyszukiwarki internetowe (takie jak Google, Bing) do zbierania informacji ze stron internetowych. Podczas tej czynności poznaje on:
- strukturę strony,
- jej zawartości, czyli:
- teksty,
- grafiki, obrazy,
- i inne elementy witryny.
Dane pobrane przez Crawlera jeśli są wartościowe mogą następnie zostać dodane do indeksu wyszukiwarki.
Najważniejsze zadania crawlera
Do najważniejszych czynności jakie wykonuje bot wyszukiwarek zalicza się:
- sprawdzanie kodu witryny,
- badanie zawartości strony, pod kontem:
- aktualizacji,
- poprawności kodu,
- linków w obrębie witryny jak i tych wychodzących,
- zbieranie różnych istotnych informacji o stronie, które mogą być przydatne dla użytkownika końcowego,
Dzięki takim inspekcją wyszukiwarka zyskuje istotne z jej punktu widzenia informacje na temat witryn internetowych. Czyli np. co ma wyświetlić w wynikach wyszukiwania.
Czy to wszystko?
Nie do końca pod tą nazwą możemy także rozumieć narzędzia, które badają (sprawdzają) kod strony internetowej. Takie jak:
- Screaming Frog,
- Sitebulb,
- Website Auditor,
Narzędzia te skanują witrynę internetową, a następnie wyświetlają listę istotnych informacji jakie udało im się zebrać. Chodzi o informacje takie jak np. title, description, zawartość alt dla grafik.
Najpopularniejszym botem jest robot Google.
warto przeczytać: