Wróć do bloga

10+ rzeczy, w których pomaga mi Deepcrawl

Jan Wychowałek

Każdy z nas lubi, gdy żmudną robotę, zamiast nas, wykonuje narzędzie. Jeszcze lepiej, gdy jest zautomatyzowane i nie potrzebuje zbyt dużo naszej uwagi. Niezależnie od tego, czy jesteśmy motywowani chęcią automatyzacji, optymalizacji pracy czy zwyczajnym lenistwem, w sukurs przychodzą crawlery internetowe – oprogramowanie webowe lub desktopowe, które skanuje serwis w celu monitoringu najważniejszych z punktu widzenia specjalisty SEO metryk i znacznie skraca czas potrzebny na przeprowadzenie analizy technicznej serwisu.Takim narzędziem jest Deepcrawl – rozwiązanie chmurowe, stworzone we współpracy dwóch specjalistów i developera w celu jak najlepszego wsparcia dla migracji dużego serwisu z nieruchomościami. Testując dostępne crawlery doszli do wniosku, że żaden z nich nie spełnia w pełni ich potrzeb i zaplanowane prace wymagają autorskiego rozwiązania. Tak powstał Deepcrawl, który aktualnie jest używany w ponad 50 krajach i jest jednym z najbardziej powszechnie stosowanych w branży SEO.

 

Świat crawlerów

Dla wielu specjalistów pierwszym skojarzeniem na hasło crawler jest Screaming Frog, który w szczególności w Polsce posiada duże grono fanów. Przyglądając się rynkowi web crawlerów/spiderów należy również zwrócić uwagę na narzędzia takie jak: Sitebulb, Oncrawl, JetOctopus, Seocrawler.io czy starodawny Xenu. Nie zapominajmy, że świetnie rozbudowanymi crawlerami są przede wszystkim boty Google, z których funkcjonalności możemy skorzystać w Google Search Console (np. wykrywanie duplikatów tytułów, meta description czy błędów 404).

Zauważalne jest więc, że rynek crawlerów jest dosyć konkurencyjny i każdy z produktów musi się wyróżniać, oferować funkcjonalności, które sprawią, że dane narzędzie zaistnieje na rynku. Każdy z crawlerów posiada swoje niewątpliwe zalety i ograniczenia, natomiast moim celem nie jest stworzenie ich rankingu. Zamierzam natomiast wskazać, do czego przydaje mi się Deepcrawl w czasie analizy serwisów i dlaczego nie wyobrażam sobie bez niego pracy w branży SEO.

 

1. Wygodny i intuicyjny Dashboard

Intuicyjny Dashboard to wielka zaleta Deepcrawla

 

Chcąc przedstawić 10 najważniejszych/najciekawszych metryk, jakie możemy znaleźć w Deepcrawl, zaczynam od… funkcjonalności samego urządzenia, a w zasadzie sposobu, w jaki prezentuje dane. Bardzo przejrzysty dashboard, w którym znajdziemy wszystkie najbardziej istotne metryki tuż po zakończeniu crawlu pozwala nam na błyskawiczną podstawową ocenę kondycji technicznej serwisu. W sytuacji, gdy w konkurencyjnych crawlerach specjalista musi przeklikać się przez masę okienek, w Deepcrawl dostaje wszystko jak na tacy w sekcji „Issues”, która wskazuje najistotniejsze problemy, z którymi boryka się serwis wraz z liczbową wartością stron, których dany problem dotyczy. Wykresy znajdujące się poniżej prezentują inne istotne metryki, jak np. podział stron względem kodu odpowiedzi, wykres głębokości stron w strukturze serwisu czy metryka dot. wykorzystywania protokołów http i https.

 

2. Duplikacje treści

Deepcrawl to prawdziwy kombajn w kwestii odnajdywania i klasyfikowania przypadków duplikacji treści. Pozwala na wychwycenie praktycznie wszystkich przypadków powtarzania się, czyli:

  • Duplikacji tytułów
  • Duplikacji meta description
  • Duplikacji sekcji body stron – bardzo przydatne w przypadkach, gdy tytuły i opisy stron są różne, natomiast treść znajdująca się pomiędzy znacznikami <body> jest identyczna lub w znacznym stopniu wzajemnie się duplikująca
  • Duplikacji całej strony (body i atrybuty meta w nagłówku strony)

Jedyne, czego może brakować w kwestii duplikacji to fakt, że Deepcrawl nie analizuje pod tym kątem nagłówków H1 (wskazuje natomiast przypadki braku nagłówków H1 oraz wielokrotnej ich obecności pod danym adresem URL), które również mogą być problematyczne (np. spotkałem się z przypadkiem serwisu klienta, w którym na każdej stronie nagłówkiem H1 był jego brand). Świetnym udogodnieniem, jakie oferuje narzędzie to grupowanie przypadków duplikacji w zestawy – wszystkich stron z identycznymi tytułami, opisami meta czy treścią. Pozwala to na szybkie określenie najważniejszych powodów duplikacji oraz wyłapanie wzorów, na podstawie których tworzą się powtórzenia.  

 

3. Strony o małej ilości treści/puste strony

Thin pages i Empty pages to kolejne bardzo istotne metryki dla powodzenia projektu SEO. Deepcrawl nie robi nic innego, tylko pokazuje nam listę stron, które (według domyślnych ustawień narzędzia) posiadają:

  • Mniej niż 3072 bajty tekstu dla metryki Thin Pages,
  • Mniej niż 512 bajtów tekstu dla metryki Empty Pages.

Deepcrawl pozwala na personalizacje ustawień dla każdego crawla (np. poprzez zwiększenie minimalnej wartości do wskazywania stron Thin Pages)

 

Pozwala to na znalezienie URLi o małej ilości lub braku treści w sekcji body. Przyglądając się efektom i skuteczności narzędzia muszę podkreślić jego przydatność. Praca nad stronami z małą ilością treści może przynieść duże i szybkie efekty z uwagi na fakt, że takie strony nie wykorzystują swojego potencjału SEO, a w przypadku ich dużego udziału w ogólnej liczbie stron serwisu mogą również obniżać jego ocenę algorytmiczną według Google. Crawl wielokrotnie wskazywał mi strony, o których nie miałem pojęcia na podstawie codziennej pracy nad serwisem, więc użycie go jest jak najbardziej wskazane.

 

4. Strony błędów 404

Funkcjonalność pozwalająca odnaleźć strony błędów 404 sama w sobie nie jest czymś, co wyróżnia Deepcrawl na tle innych narzędzi używanych przez specjalistów SEO czy Developerów. Błędy 404 zgłaszają nam m.in.: Screaming Frog, Ahrefs, Majestic czy Google Search Console.

Dlaczego więc o tym piszę? Po pierwsze praca nad błędami 404 w serwisie jest istotna w codziennej pracy każdego specjalisty SEO. Natomiast po drugie Deepcrawl daje swoim użytkownikom możliwość podpięcia innych narzędzi, które pozwalają zwiększyć ilość danych, które przeanalizuje. Wykorzystanie Google Analytics, Google Search Console, backlinków z Majestic lub Ahrefs czy pliku z logami pozwalają wyciągnąć kompleksowe dane, zdecydowanie przewyższające możliwości, jakie daje sam „czysty” crawl serwisu. Ciekawą metryką jest również graficzne przedstawienie stron niezgłaszających kodu 200, dzięki czemu możemy szybko zaobserwować, czy największym problemem naszego serwisu jest duża ilość 400-tek, 500-tek czy może zbyt duża liczba przekierowań.

 

5. Kompleksowa analiza przekierowań

A propos przekierowań – w tym przypadku również otrzymujemy olbrzymie wsparcie, gdyż Deepcrawl prezentuje dużą ilość metryk dotyczącą redirectów i prowadzi użytkownika za rękę wskazując najistotniejsze możliwości optymalizacyjne.

Narzędzie wskazuje:

  • Ilość przekierowań – możemy więc skontrolować, czy przekierowania w naszym serwisie nie stanowią zbyt dużego udziału wszystkich stron,
  • Przekierowania posiadające kod inny niż 301 (np. 302 lub 307, czyli przekierowania tymczasowe),
  • Przekierowania łańcuszkowe,
  • Pętle przekierowań,
  • Przekierowania na niedostępne strony (np. 404-ki),
  • Przekierowania wykonane za pomocą JavaScript lub Meta refresh.

Oczywiście każda z tych metryk i zgłaszanych przez Deepcrawl problemów (Issues) powinna zostać poddana analizie i ocenie specjalisty, ale zbiór oferowanych przez narzędzie klasyfikacji zbieranych danych jest imponujący.

 

6. Poprawność wdrożenia linków kanonicznych

Linki kanoniczne oraz ich potencjał w SEO często są ignorowane przez mniej doświadczonych specjalistów. Crawlując serwis za pomocą DeepCrawl praktycznie nie mamy możliwości, żeby zapomnieć o, lub zignorować kwestię canonicali, gdyż zostały opatrzone kompleksowymi metrykami, które bardzo szczegółowo wgryzają się w ten aspekt działania serwisu. Za pomocą DC sprawdzisz:

  • Czy strona posiada link kanoniczny i czy jest on poprawny (czy nie występują podwójne canonicale lub idąc dalej – czy nie ma konfliktu między nimi),
  • Czy link kanoniczny odsyła do poprawnych zasobów (czy kod odpowiedzi serwera to 200, czy strona, do której odsyła link jest indeksowana),
  • Czy strona, do której odsyła link kanoniczny nie jest „sierotą”, czyli czy posiada odnośniki w strukturze serwisu.

Jedyne czego może brakować w metrykach prezentowanych przez narzędzie to podział na linki self-canonical oraz odsyłające do innych stron w serwisie.

 

7. Poprawność wdrożenia protokołu HTTPS

Wdrożyłeś protokół HTTPS i nie jesteś pewien czy na pewno wszystkie zasoby zostały przekierowane na adresy z szyfrowanym połączeniem? Zastanawiasz się czy wszystkie linki wewnętrzne (a masz ich całe mnóstwo), nie mówiąc już o canonicalach czy hreflangach, zostały zmienione na te z odpowiednim protokołem?

Dashboard prezentuje wiele metryk, w tym jedna prezentująca przekrój ilości adresów z protokołem HTTPS w porównaniu z HTTP

 

DeepCrawl bardzo prosto i przystępnie prezentuje zestawienie przeskanowanych adresów URL z podziałem na te z protokołem http i https, w związku z czym masz pewność, że znajdziesz wszystkie, nawet te najbardziej ukryte, zasoby ze starym protokołem http. Funkcjonalność jest przydatna również w przypadku serwisów, które mają wdrożonego HTTPS-a od dłuższego czasu. Wielokrotnie natrafiałem na przypadki linków wewnętrznych do wersji http serwisu, w przypadkach, gdy wydawałoby się, że developerzy dopilnowali wszystkiego w czasie dawnej migracji.

 

8. Obecność i poprawność hreflangów

SEO w serwisach międzynarodowych niesie ze sobą dodatkowe wyzwania w pracy nad optymalizacją serwisów. Jednym z nich są m.in. atrybuty hreflang, które powinny wskazywać zależność między różnymi wersjami językowymi danej strony. Oczywiście również w tym przypadku możemy liczyć na wsparcie DeepCrawla. W czym pomoże nam narzędzie?

  • Wskaże nam strony z/bez hreflangów w kodzie strony
  • Pokaże nam przypadki niepoprawnej implementacji hreflangów (np. linki z atrybutem hreflang w sekcji body strony)
  • Przedstawi hreflangi odsyłające do nieistniejących zasobów (np. stron błędu 404)
  • Przedstawi nieindeksowane strony posiadające hreflangi

W przypadku analiz hreflangów mam tylko jedną uwagę, a mianowicie – nie powinniśmy traktować DeepCrawla jako wyroczni w tej kwestii. Narzędzie nie analizuje hreflangów kompleksowo i nie uwzględnia, czy np. dana strona posiada hreflang zwrotny, co jest nieodzowne, żeby roboty Google odpowiednio zinterpretowały te instrukcje.

 

9. Głębokość struktury serwisu

Kolejna świetna funkcjonalność DeepCrawla, która w bardzo przystępny sposób pokazuje ogólną głębokość struktury serwisu (mierzoną za pomocą ilości kliknięć od strony startowej crawla, którą najczęściej jest strona główna, niezbędną do dostania się do danych stron), ale również wskazuje, na którym poziomie znajduje się dany adres URL.

Przystępna forma prezentowania danych – w powyższym wypadku jest to struktura/głębokość serwisu

 

Użytkownik potrzebuje sześciu kliknięć, żeby dostać się do ważnej kategorii produktów? Artykuł, na którego popularności Ci zależy jest zakopany w podkategorii, do której dostaniesz się dopiero po czterech kliknięciach? To mogą być powody, dla której kluczowe dla Twojego biznesu strony osiągają słabsze niż zakładane wyniki, a Deepcrawl Ci to powie. Sprytne!

 

10. Monitoring linków – przychodzących i wychodzących

Linkowanie… w ostatnich latach, wraz z ewolucją SEO, nie jest już tak gorącym hasłem jak kilka lat temu, ale cały czas odgrywa duże znaczenie. Kontrola nad linkami przychodzącymi do serwisu jest bardzo istotna, a w ramach abonamentu DeepCrawl udostępnia swoim użytkownikom darmową funkcjonalność, która pozwala na przeanalizowanie do 30 tysięcy linków przychodzących znajdujących się w bazie danych Majestic lub analizę pliku z linkami przygotowanymi przez specjalistę.

W kwestii linkowania wewnętrznego narzędzie jest jeszcze bardziej rozwinięte: pokaże wszystkie linki do stron z błędami czy przekierowaniami, pozwoli zmonitorować linki nofollow w witrynie, wskaże strony, które posiadają zbyt dużą liczbę linków w kodzie (zarówno tych zewnętrznych, jak i wewnętrznych), pokaże linki wychodzące, które kierują do nieistniejących zasobów czy pokaże omawiane już wcześniej błędne linki znajdujące się w sitemapie serwisu.

 

11. Rozmiar stron w serwisie

W kwestii bardzo popularnego performance’u, czyli szybkości i wydajności serwisu, Deepcrawl nie jest narzędziem, dającym funkcjonalności porównywalne do oferowanych przez Google Lighthouse czy WebPageTest.org. W porównaniu do powyższych narzędzi prezentuje stosunkowo mało danych, ale jest w stanie np. wskazać strony, które potrzebują zbyt dużo czasu do załadowania.

Istotną funkcjonalnością jest natomiast prezentowanie danych dot. wielkości pliku HTML danych stron. W przypadku serwisów ecommerce częstym problemem są duże pliki HTML np. na stronach kategorii. Deepcrawl jest w stanie wskazać takie strony, wobec których przydałoby się „odchudzenie” HTML-a, chociażby przez przeniesienie inline’owych skryptów do zewnętrznych plików lub bardziej optymalne przepisanie kodu.

 

12. Synchronizacja danych z innymi narzędziami

Last but not least, czyli fakt, że funkcjonalność crawlera to jedynie część możliwości, jakie daje nam DeepCrawl. Wspominane powyżej wykorzystanie danych pobieranych za pomocą API Majestica to tylko część dodatkowych źródeł danych, które narzędzie może przeanalizować, a są to dane z:

  • Google Search Console
  • Google Analytics
  • Sitemapa/y serwisu
  • Linki pobrane z API Majestic lub wgrane ręcznie
  • Logi serwerowe (również wgrane za pomocą API lub ręcznie)
  • Wgrana ręcznie lista URL-i

Sam crawl serwisu jest świetnym źródłem informacji dot. jego kondycji, ale możliwości, jakie daje podpięcie dodatkowych źródeł danych daje prawie kompleksowy obraz, który może posłużyć do przeprowadzenia niesamowicie złożonego audytu.

Deepcrawl to prawdziwy kombajn, który niezwykle ułatwia pracę przy analizie serwisu. Każdy specjalista powinien jednak pamiętać, że narzędzie nie podaje gotowych rozwiązań i rekomendacji, ale jedynie zgłasza najważniejsze problemy w serwisie, których rozwiązanie może być różne w zależności od analizowanego przypadku. Dopiero odpowiednia interpretacja wykonana przez specjalistę czyni narzędzie przydatnym. Po kilkunastu miesiącach pracy z Deepcrawlem ciężko jest mi wyobrazić sobie wykonywanie audytów czy analiz bez tego narzędzia, które ułatwia i niesamowicie optymalizuje czas pracy. A wady? Narzędzie nie należy do najtańszych, roczny abonament zdecydowanie przewyższa sumę, jaką musimy przeznaczyć chociażby na analogiczną licencję do Screaming Froga, co może być nie do przeskoczenia np. dla części freelancerów. Jeśli nie jest to przeszkodą nie do pokonania – zdecydowanie warto!

 

 

Wróć do bloga

Dziękujemy za wysłanie wiadomości.

Skontaktuj się z nami

Podanie danych osobowych jest dobrowolne, jednak podanie numeru telefonu i adresu e-mail jest niezbędne do udzielenia odpowiedzi. Przysługuje mi prawo dostępu do treści moich danych osobowych oraz ich poprawiania. Dane będą wykorzystane w celu udzielenia odpowiedzi, a w przypadku wyrażenia zgody również w celu marketingowym.


Kto jest administratorem Twoich danych?
Administratorem Twoich danych jest Bluerank sp. z o.o., kliknij i dowiedz się więcej m.in. po co nam Twoje dane i jakie masz prawa..

Nasze akta rejestrowe prowadzi Sąd Rejonowy dla Łodzi-Śródmieścia w Łodzi, XX Wydział Gospodarczy KRS, kapitał zakładowy 100 000 zł, NIP 727-272-57-03.

Jak możesz się z nami skontaktować?
listownie: ul. ul. Łąkowa 29, 90-554 Łódź,
e-mailem na adres: kontakt@bluerank.pl

Jakie masz prawa?

  1. dostępu do Twoich danych,
  2. ich poprawiania,
  3. żądania ich usunięcia,
  4. ograniczenia przetwarzania,
  5. przenoszenia Twoich danych.

Co zrobić gdy uważasz, że przetwarzamy Twoje dane niezgodnie z wymogami prawnymi?
Możesz wnieść skargę do organu nadzorczego. W Polsce jest to Generalny Inspektor Ochrony Danych Osobowych http://www.giodo.gov.pl/

Po co nam Twoje dane, czyli w jakim celu je przetwarzanym?

  1. w celu udzielenia odpowiedzi na zapytanie oferty Bluerank
  2. w celu korespondencji związanej ze złożonym zapytaniem
  3. na podstawie Twojej dodatkowej zgody, w celu marketingowym polegającym na przesyłaniu ofert usług świadczonych przez Bluerank sp. z o.o. oraz innych wydarzeń organizowanych przez Bluerank sp. z o.o. - za pomocą wiadomości wysyłanych na Twój adres e-mail lub numer telefonu,
  4. na podstawie Twojej dodatkowej zgody, przekażemy Twoje dane do naszego Partnera – Prowly.com sp. z o.o.

Czy musisz podawać nam swoje dane?
Jest to dobrowolne. Bez ich podania nie będziemy mogli jednak skontaktować się z Tobą w celu udzielenia Ci odpowiedzi i nie będziemy mogli przesłać Ci oferty

Na jakiej podstawie prawnej przetwarzamy Twoje dane?

  1. Art. 6 ust. 1 lit. a RODO, czyli tego rozporządzenia.
  2. Jeżeli wyrazisz zgodę na otrzymywanie komunikatów marketingowych również na Twój adres e-mail i numer telefonu, to podstawą prawną będzie także art. 10 ustawy o świadczeniu usług drogą elektroniczną oraz art. 172 ustawy Prawo telekomunikacyjne.

Komu przekażemy Twoje dane?

  1. Dostawcom usług związanych z przygotowaniem oferty
  2. Kurierom oraz poczcie.
  3. Operatorom płatności dostępnych na naszej stronie.
  4. Podmiotom zajmującym się hostingiem (przechowywaniem) portalu stronie internetowej bluerank.pl oraz danych osobowych dla nas.
  5. na podstawie Twojej dodatkowej zgody, przekażemy Twoje dane do naszego Partnera – Prowly.com sp. z o.o. w celu marketingowym polegającym na przesyłaniu ofert usług świadczonych przez Prowly.com sp. z o.o. - za pomocą wiadomości wysyłanych na mój adres e-mail lub numer telefonu. Wówczas administratorem Twoich danych będzie Prowly.com sp. z o.o. z siedzibą w Warszawie, przy ul. Antoniego Józefa Madalińskiego 71 lok. 1, 02-549 Warszawa, (KRS: 0000462787), której akta prowadzi Sąd Rejonowy dla m. st. Warszawy w Warszawie, XIII Wydział Gospodarczy KRS, kapitał zakładowy: 15 500 zł, NIP: 5213649218

Jak długo będziemy przetwarzać Twoje dane?
Przez czas:

  1. przygotowywania odpowiedzi na zapytanie ofertowe oraz czas niezbędny do przedawnienia roszczeń związanych z przygotowaniem oferty;
  2. prowadzenia działań marketingowych przez nas albo do czasu odwołania zgody na wysyłanie wiadomości na Twój adres e-mail oraz numer telefonu. Odwołanie przez Ciebie zgody nie wpływa na zgodność z prawem przetwarzania przed wycofaniem zgody.

Czy Twoje dane osobowe będą przekazywane poza Europejski Obszar Gospodarczy?
Tak.

Do jakich państw?
Do Stanów Zjednoczonych. Masz prawo otrzymania kopii Twoich danych, które zostaną tam przekazane.
Na jakiej podstawie przekażemy dane?
Decyzji Wykonawczej Komisji Europejskiej z dnia 12.07.2016 r. wprowadzającej Tarczę Prywatności (tzw. Privacy Shield). Dane będą przekazywane tylko do podmiotów certyfikowanych w ramach tej decyzji.

Zwiń

 

Interesuje Cię nasza oferta?
Daj znać, czego potrzebujesz.
WYPEŁNIJ BRIEF