Chociaż niewiele osób nie kojarzy określenia „Crawler” to tak naprawdę miała z nim wiele razy do czynienia. Zwłaszcza dotyczy to pozyconerów i osób zajmujących się budową stron internetowych.
Co to jest Crawler?
Crawler (od ang. „crawl”- czołgać się) to robot indeksujący, bot wyszukiwarki czasem nazywany też pająkiem, jest to program używany przez wyszukiwarki internetowe (takie jak Google). Jego głównym zadaniem jest zbieranie i gromadzenie informacji o stronach internetowych. Chodzi np. o
- strukturę,
- zawartości witryn:
- teksty,
- grafiki, obrazy,
- i inne elementy witryny.
Dane pobrane przez Crawlera jeśli są wartościowe mogą następnie zostać dodane do indeksu wyszukiwarki.
Najważniejsze zadania crawlera
Do najważniejszych czynności jakie wykonuje bot wyszukiwarek zalicza się:
- sprawdzanie kodu witryny,
- badanie zawartości strony, pod kontem:
- aktualizacji,
- poprawności kodu,
- linków w obrębie witryny jak i tych wychodzących,
- zbieranie różnych istotnych informacji o stronie, które mogą być przydatne dla użytkownika końcowego,
Dzięki takim inspekcją wyszukiwarka zyskuje istotne z jej punktu widzenia informacje na temat witryn internetowych. Czyli np. co ma wyświetlić w wynikach wyszukiwania.
Czy to wszystko?
Nie do końca pod tą nazwą możemy także rozumieć narzędzia, które badają (sprawdzają) kod strony internetowej. Takie jak:
- Screaming Frog,
- Sitebulb,
- Website Auditor,
Narzędzia te skanują witrynę internetową, a następnie wyświetlają listę istotnych informacji jakie udało im się zebrać. Chodzi o informacje takie jak np. title, description, zawartość alt dla grafik.
Najpopularniejszym botem jest robot Google.
warto przeczytać:
- https://delante.pl/definicje/crawler/
- https://www.semtec.pl/slownik-seo/crawler/