kontakt
Software house
>
Blog
>
Jak działa crawler — wszystko co trzeba wiedzieć o robocie indeksującym

Jak działa crawler — wszystko co trzeba wiedzieć o robocie indeksującym

Data wpisu
Mateusz Kuba
Autor
Mateusz Kuba
Crawler

Crawler to pojęcie mało znane szerszej grupie użytkowników jednak niezwykle istotne dla posiadaczy stron WWW czy sklepów online. Dobrze zbudowana witryna, przejrzysta i wartościowa dla internautów, to połowa sukcesu, ponieważ powinna być ona równie dobrze odbierana przez roboty wyszukiwarki, które skanują jej kod i zawartość, a następnie umieszczają je w odpowiednim miejscu w rankingu.

Czym jest crawler?

Crawler, inaczej bot, robot, pełzacz lub pająk, to specjalny program komputerowy zbudowany na podstawie sztucznej inteligencji, którego głównym zadaniem jest skanowanie stron internetowych.  Odczytanie zawartości stron, ich przydatności dla potencjalnych użytkowników oraz poprawności kodu sprawia, że mechanizm ten może odpowiednio skatalogować tę witrynę, a następnie umieścić wysoko w wynikach wyszukiwania lub nisko, jeśli strona nie będzie zgodna z algorytmami, na których bazuje bot. Crawler monitoruje strony internetowe oraz wszelkie zmiany, jakie zostały w niej wprowadzone, analizuje linki, dodawane komentarze oraz analizuje strony pod kątem SEO, automatycznie tworząc ich audyt. Ze względu na fakt, że witryny mogą mieć różny stopnień rozbudowania istnieje kilka metod służących do skanowania zasobów w Internecie:

  • main crawl – skanowanie dotyczy najważniejszych podstron każdej witryny;
  • fresh crawl – skanowanie witryny pod kątem wprowadzonych do niej zmian, które odbywa się nawet kilka razy w na dobę, aby zapewnić użytkownikom jak najbardziej aktualne treści;
  • deep crawl – skanowanie dobywa się najczęściej raz na miesiąc i polega na dokładnej analizie strony: kodu, skryptów, linków, zdjęć i treści. 

Crawler i jego rola w pozycjonowaniu witryn internetowych

Crawler a SEO

Crawler ma istotny wpływ na pozycjonowanie witryn w Internecie, ponieważ to właśnie tego rodzaju boty indeksują każdą stronę internetową. Jego zadanie polega na odwiedzaniu witryn i dokładanym skanowaniu  ich zawartości, a następnie wysłaniu tak zgromadzonych danych do specjalnego indeksu, który stanowi ogromną bazę danych, na podstawie której bot ocenia daną witrynę oraz przypisuje jej określone miejsce w kolejności wyszukiwania na podstawie określonych słów kluczowych. Warto przy tym zauważyć, że crawler nie rozróżnia kolorów i nie widzi zdjęć, a przede wszystkim analizuje poprawność kodu i zawartość witryny. Wysoko ocenia treść poprawnie napisaną pod kątem stylistycznym i gramatycznym, która jest unikalna i wartościowa dla użytkownika. Jeśli robot skanujący uzna, że treść została skopiowana, strona automatycznie znajdzie się na końcu listy naturalnych wyników wyszukiwania. Równie istotne są poprawnie napisane znaczniki meta oraz meta description, a także opisy alt przy grafice, której algorytmy skanujące nie wykrywają. W Internecie istnieje kilka rodzajów crawlerów, z których aż 90% należy do światowej korporacji Google, przez co najczęściej mamy do czynienia z googlebotami. Niemniej jednak i inne wyszukiwarki posiadają swoje mechanizmy skanujące witryny, na podstawie których tworzą swój własny ranking w wynikach wyszukiwania: Bingbot od Microsoft, rosyjski Yandex Bot czy Semrush powstały na potrzeby SEO. 

Ostatnie Wpisy