SEO analyse: Analysér dit website gratis med Screaming Frog

For at søgemaskinerne bedst muligt forstår dit website, er det vigtigt, at bruge tid på teknisk SEO og optimering af indhold. Vil du gerne spare tid på at optimere dit indhold og finde tekniske fejl, kan du anvende en web crawler til at hente data fra dit website.

 

Hvad er en web crawler?

En web crawler (også kendt som web spider) er et program eller automatiseret script, som klikker links på internettet på en struktureret måde, for at udtrække data fra de sider, den besøger. Udtrækningen af data fra siderne kaldes “scraping”. Web crawling og scraping bruges blandt andet af søgemaskiner og prissammenligningstjenester, for at de effektivt kan holde sig opdateret på den information, de fremviser til deres brugere. Google’s web crawler hedder Googlebot, og har til opgave at finde så mange sider som muligt, som Google’s indekseringsprogram efterfølgende indlæser for at vurdere, hvordan og hvorledes en side skal indekseres.

 

Værktøjer til web crawling

Der findes et væld af gode værktøjer til web crawling i forbindelse med SEO, hvor nogle er lidt dyrere end andre, grundet ting som ekstra features, crawling performance og automatisering. Det er også muligt at kode sin egen web crawler med scraping funktioner, som man selv definerer. Det kan bl.a. gøres i programmeringssproget Python med frameworks som Scrapy og BeautifulSoup.

 

Crawl dit website gratis med Screaming Frog

I den her artikel vil vi, med udgangspunkt i web crawler værktøjet Screaming Frog, vise hvordan du optimerer dit website ift. teknisk SEO og indhold.

Vil du analysere dit website ud fra nedenstående gennemgang, kan du downloade gratis versionen af Screaming Frog her.

Gratis versionen har nogle begrænsninger. Nævneværdigt er begrænsningen på 500 crawlede URL’er, custom scraping via Xpath/CSS/Regex og API forbindelserne til Google Analytics, Search Console og Majestic/Ahrefs backlink data.

Har du den fulde/betalte version kan guiden her også være en stor hjælp, hvis ikke du føler dig bekendt med værktøjet endnu og har behov for en gennemgang.

Til sidst i artiklen vil vi kort komme ind på, hvordan du bedst udnytter de 500 URL’er du har til rådighed, i tilfælde af dit website har mere end 500 sider, vha. funktionen List-mode.

Det her gennemgår vi:

SEO Indhold

  • Få overblik over titles og descriptions
    • Eksportér til Excel, og optimér dem derefter
  • Se H1 og H2 overskrifter
  • Word count – hold øje med mængden af indhold

Teknisk SEO

  • Find fejlsider (fx 404 og 502 sider) og deres interne links
    • Eksporter alle fejlsider og interne links til Excel
  • Find HTTP sider på dit HTTPS site
    • Eksportér alle HTTP sider og interne links til Excel
  • Find duplikerede sider – tjek canonicals og redirects
  • Generér sitemap(s)
  • Visualisér link-strukturen for dit website

Websites med 500+ sider

  • For stort website? Brug List-mode til at crawle udvalgte sider

 

Analysér indholdet på dit website

For at komme i gang, skal Screaming Frog være downloadet og installeret. Når du har åbnet programmet, indtaster du adressen på dit website. Her anbefaler vi, at du kopierer adressen fra siden, når den er indlæst i din browser, for at få den præcise URL.

 

Screaming frog

 

Herefter klikker du på Start, og crawlet sættes i gang. Når crawlet er på 100%, kan du begynde at analysere dit website.

 

Få overblik over Titles og Meta Descriptions – og optimér dem i Excel

Det første vi undersøger, er websitets title tags og meta descriptions – det indhold, som brugerne ser ude i søgeresultaterne, og som har stor betydning for siders organiske CTR (klikrate).

Screaming frog

Blå tekst: Title tag

Grå tekst: Meta description

For at få overblikket over title tags, skal du scrolle ned ude i menuen til højre, indtil du finder menuen Page Titles. Du kan også benytte den øvre menu til at navigere rundt, men i denne artikel bruger vi menuen til højre.

Noget vi ser på mange websites er, at mange sider ikke har optimerede title tags. I stedet er sidernes title tags autogenereret fra sidernes hovedoverskrift, hvilket resulterer i title tags som ikke udnytter den plads, de har til rådighed, for at få brugerens opmærksomhed i søgeresultaterne.

For at finde alle de korteste title tags på dit website, vælger du Page Titles → All, finder kolonnen “Title Pixel Length” og sorterer efter færreste antal pixels.

Screaming frog

Sorteret efter færreste pixels/anslag

 

I nogle tilfælde ser vi sider, der har for lange title tags. Den præcise grænse for tegn anslås til at være omkring 568 pixels, hvorfor Screaming Frog har sat grænsen der. I den betalte version er det muligt selv at sætte grænsen for, hvornår et title tag er for langt.

For at finde title tags, der er for lange til at blive vist til fulde i søgeresultaterne, sorterer du “Title Pixel Length” efter flest antal pixels. I eksemplet nedenfor kan man se, at DR’s hjemmeside har 25+ title tags, som ikke vil blive vist korrekt pga. længden.

Screaming frog

Sorteret efter flest pixels/anslag – Grænsen for titles er ca. 568 pixels

 

Meta descriptions finder du ved at scrolle lidt mere ned i menuen til højre. Ligesom med title tags, kan du her sortere efter færreste/fleste antal pixels for at finde meta descriptions, der er for korte/lange.

Under Page Titles kan du også se duplikeret indhold. Duplikeret indhold bør generelt undgås, da søgemaskinerne i højere grad værdsætter unikt indhold.

For at finde duplikerede meta descriptions, vælger du Meta Description → Duplicate. Alternativt kan du vælge Meta Description → All og sortere kolonnen “Meta Description” alfabetisk ved at klikke på den.

Screaming frog

Meta descriptions – For korte/lange, samt duplikerede

 

Eksportér til Excel og optimér dit indhold

For at eksportere til Excel, vælger du Export i øvre venstre hjørne.

 

Screaming frog

 

Screaming frog

 

Når Excel filen er gemt opsætter du den til en tabel, og opretter en ny kolonne ved siden af “Title 1” til dine nye, optimerede title tags. Her kan du igen sortere efter pixel længde. Nu har du et let og overskueligt dokument til at optimere title tags på dit website.

Screaming frog

Optimér dine title tags i Excel og implementér dem bagefter på dit website

 

Vil du gøre det samme for meta descriptions, er fremgangsmåden den samme som for title tags.

Foretrækker du at have title tags, meta descriptions og alt andet scraped data i ét Excel ark, skal du scrolle op øverst i menuen til højre og vælge Internal → HTML, og klikke Export.

 

Se H1 og H2 overskrifter

Når søgemaskiner crawler en given side, er der nogle dele af indholdet som “vejer” mere i vurderingen af, hvad siden handler om. En af de vigtigste dele af indholdet er overskrifterne H1 (Header 1) og H2 (Header 2). Dem bruger bl.a. Googlebot til at forstå sidens overordnede emne og det er derfor vigtigt, at overskrifterne relaterer til emnet med relevante keywords eller dertilhørende synonymer.

H1 overskrifterne finder du lidt længere nede i menuen til højre. Her kan du, ligesom med titles og descriptions, vælge mellem at se All, Missing og Duplicate H1 overskrifter.

Du vil kunne se to H1 overskrift kolonner, H1-1 og H1-2, da Screaming Frog scraper de første to H1 tags i kildekoden på hver side. I eksemplet nedenfor med DR kan man se, at “Skift kanal” dukker op som H1-2.

Screaming frog

H1 overskrifter på dr.dk – “Skift kanal” på flere sider

 

H2 overskrifter finder du lige under H1 overskrifterne i menuen til højre. Her ser vi igen eksempler på duplikerede overskrifter.

 

Screaming frog

H1 overskrifter på dr.dk – bl.a. “Senest sete” og “Favoritter” på flere sider

 

Word count – hold øje med mængden af indhold

En feature i Screaming Frog, som ikke er at finde i menuen til højre, er Word Count, som tæller antallet af ord på hver side. Her skal der altid tages højde for, at ord i bl.a. navigationen og footeren også tælles med i Word Count.

Word Count kan bruges til at danne overblik over, hvor lange teksterne er på dine sider. Bemærk at på kategorisider vil produktnavne m.m. også tælle med, hvorfor det ikke altid er idéelt at måle teksternes indhold baseret på Word Count.

For at finde Word Count, scroller du op øverst i menuen til højre og vælger Internal → HTML. I listen af URL’er og scraped data kan du se kolonner som Address og Status Code. Scroll til højre derinde, indtil du finder Word Count. Vil du løfte kolonnen et andet sted, klikker du på toppen af kolonnen og holder museknappen inde.

Word Count vil også være blandt kolonnerne når Internal → HTML eksporteres til Excel.

Screaming frog

Word Count kolonnen – her løftet frem til at stå ved siden af Address

 

Lav din egen SEO tekniske analyse

Efter at have gennemgået SEO-indholdet, er det nu tid til det, som Screaming Frog gør bedst: SEO teknisk analyse. Vi tager stadig udgangspunkt i gratis versionen.

 

Find fejlsider (404, 502) på dit website

I dét web crawleren klikker på alle links, der er at finde i kildekoden, finder crawleren ofte sider, som brugerne sjældent finder. Hvad kan der være så slemt ved fejlsider, som brugerne ikke finder, tænker du måske? Googles primære formål med deres søgemaskine er, at give deres brugere en god oplevelse. Hvis Google bemærker, at der er risiko for at deres brugere støder ind i fejlsider på dit website, vil de være mere påpasselige med at vise dit website til deres brugere.

Googlebot (Google’s web crawler) kan ikke så nemt vurdere, hvilke fejlsider der er godt gemt væk, og hvilke, der ikke er. Der kan måles på, hvor mange interne links en given fejlside har, men det er svært at vurdere, hvor tilgængelige de interne links hver især er for brugerne.

For at se fejlsider på dit website, kan du finde “Client Errors” og “Server Errors” ude i menuen til højre, men i eksemplerne nedenfor vil vi bruge Internal → All.

Vælg Internal → HTML (eller All), find kolonnen “Status Code” og sortér efter højeste tal.

Screaming frog

Find fejlsider i Internal → HTML og sortér efter statuskode

 

Vil du se hvilke sider, der linker til en udvalgt side, kan du klikke på rækken med den udvalgte URL, og derefter vælge “Inlinks” i navigationen nederst i Screaming Frog vinduet.

 

Screaming frog

Se interne links der peger på en udvalgt side – Her ses interne links til en 400 side.

 

Eksportér alle fejlsider og interne links til Excel

Har du flere fejlsider, og vil du gerne danne overblik over, hvilke sider der linker til dem, kan du eksportere det hele til Excel:

Bulk Export → Response Codes → Client Error (4xx) Inlinks

Screaming frog

Eksportér fejlsider og interne links i Bulk Export

For interne links til redirects og server error (5xx) sider, kan du vælge Redirection (3xx) Inlinks og Server Error (5xx) Inlinks.

 

Find HTTP indhold på dit HTTPS website

Over de seneste år er der kommet øget fokus på sikkerhed ved nethandel og personfølsomme informationer, og som følge af det brugen af HTTPS. Blandt andre, har Google øget fokus på det. Besøger du et website, som ikke er fuldt beskyttet med HTTPS, ser brugerne en advarsel i adressebaren i Chrome.

Her er et tilfældigt eksempel fundet på Google:

Screaming frog

 

Hvis dit website er skiftet over til HTTPS, men nogle af jeres sider stadig får denne advarsel, kan det skyldes nogle elementer (fx billeder eller javascript) som stadig er http.

For at finde HTTP sider, og andre elementer som stadig er HTTP, kan du gå til:

Internal → All, find kolonne “Address” og sortér efter alfabetisk rækkefølge.

 

Screaming Frog

Find HTTP sider og elementer – Sortér Address alfabetisk

 

Ved at sortere alfabetisk, finder du alle http:// siderne øverst, efterfulgt af alle https:// siderne.

For at se interne links til en udvalgt http side, kan du vælge Inlinks i den nederste menu.

 

Eksportér alle HTTP sider og interne links

Ligesom med fejlsider, kan du her eksportere en rapport til Excel, der giver dig overblik over HTTP sider og interne links, der peger på HTTP siderne.

Vælg Reports → Insecure Content

Screaming frog

HTTP sider og interne links – Insecure content report

 

Find duplikerede sider + tjek canonical og NoIndex tags

Med duplikerede sider reduceres SEO-værdien af den side, du gerne vil ranke højt på, da indholdet på siden ikke er unikt. På store såvel som små websites, ser vi ofte duplikerede sider som indekseres i søgeresultaterne grundet manglende canonical tags og noindex tags. Med canonical tags kan du signalere til Google, hvilken af de duplikerede sider, der er “den rigtige” – den, du ønsker skal indekseres i søgeresultaterne. Canonical tags fungerer dog kun som guidelines, og det står derfor søgemaskinerne frit for, om de vil overholde det. Noindex tags bruges til at fortælle søgemaskinerne, hvilke sider, du ikke ønsker indekseret i/gerne vil fjerne fra søgeresultaterne.

Der er flere måder at finde duplikerede sider på. Oftest har duplikerede sider samme title tags, hvorfor det er en god idé at starte der. For at finde duplikerede title tags, kan du gå til:

Page Titles → Duplicate og sortere kolonnen “Title” efter alfabetisk rækkefølge.

Du kan også finde duplikerede title tags under Internal → HTML.

Screaming frog

Find duplikerede title tags (sider) under Page Titles → Duplicate

 

Men blot fordi at to sider har identiske title tags, betyder det ikke at siderne vil blive betragtet som duplikeret af søgemaskinerne. For at finde ud af det, skal vi undersøge, om de pågældende duplikerede sider har NoIndex eller Canonical tag.

I menuen nederst, hvor vi før fandt interne links til en 403 side, er der en fane kaldet URL Info, som viser alt info for en udvalgt side – heriblandt meta robots tag (fx NoIndex, NoFollow, Index eller ingenting) og canonical tag.

Screaming frog

Se canonical og meta robots tag på udvalgt side under URL info (dr.dk/tv)

 

I ovenstående screenshot kan vi se, at dr.dk/tv/ har canonical tag, der peger på sig selv. Hvis dr.dk/tv (versionen uden “/” til sidst) ikke har canonical tag, der peger på dr.dk/tv/ (med “/” til sidst), er det noget, vi kan optimere på ift. SEO.

 

Screaming Frog

Se canonical og meta robots tag på udvalgt side under URL info (dr.dk/tv)

 

Som ovenstående screenshot viser, er dr.dk/tv og dr.dk/tv/ duplikerede sider uden canonicalisering eller NoIndex til at vise, hvilken side der er “den rigtige”.

 

Generér sitemaps

Sitemaps fungerer som en guideline til Google og andre søgemaskiner for, hvad du ønsker indekseret i søgeresultaterne. For at generere sitemap for dit website, skal du gå til:

Sitemaps → XML Sitemap

Screaming Frog

Generer dit sitemap i Screaming Frog

 

Da redirects, fejlsider og duplikerede sider ikke hører til i søgeresultaterne, er det vigtigt at sådanne sider ikke indgår i sitemappet.

Når du vælger XML Sitemap, åbnes Sitemap Export Configuration, hvor der fra start kun er sat kryds ved sider med statuskode 200 (eller 2xx). Ved kun at sætte kryds ved 2xx sider, undgår du redirects (3xx), fejlsider (4xx og 5xx) samt duplikerede sider med canonical til den rigtige version (Canonicalised).

 

Screaming frog

 

Har dit website PDF filer, som gerne må indekseres, kan du sætte kryds ved “PDFs”. Har du billeder, som også gerne må indekseres (fx produktbilleder), kan du gå til “Images” fanen og sætte kryds ved “Include Images”.

Når du har konfigureret dit sitemap klikker du på Next og gemmer sitemap filen. Når filen åbnes, skulle det gerne ligne nedenstående screenshot.

Screaming frog

 

Visualisér link-strukturen for dit website

En ny feature, der er kommet i forbindelse med version 10, er Force Directed Diagrams, som visualiserer den interne linkstruktur for dit website. Du kan åbne Force Directed Diagrams for hele websitet i menuen øverst under “Visualisations”.

 

Screaming frog

Visualisations → Force Directed Crawl Diagram af dr.dk

 

Screaming frog

Visualisations → Force Directed Crawl Diagram af dr.dk: Intern linkstruktur

 

Vil du gerne indskrænke det til en subfolder, frem for hele websitet, kan du højreklikke på en URL i dit overview, og finde de forskellige diagrammer under Visualisations.

 

Screaming frog

Visualisations → Force Directed Crawl Diagram af dr.dk/nyheder/

 

Screaming Frog

Visualisations → Force Directed Crawl Diagram af dr.dk/nyheder/: Intern linkstruktur

 

Når cirklerne er røde, skyldes det et problem med indeksering ifølge Screaming Frog, hvor man bør undersøge nærmere om siden fx har NoIndex tag eller Canonical tag.

 

For stort website? Brug “List mode”

Hvis dit website har flere end de 500 sider, du har mulighed for at crawle i gratis versionen, kan det være en god idé at betale for den fulde version. Alternativt kan du benytte List-mode til at crawle udvalgte sider.

List-mode fungerer ikke godt til at opdage nye fejlsider, da det er dig, der vælger siderne som crawles, og ikke en crawler som klikker løs på alle links i kildekoderne. Af samme årsag kan du heller ikke se interne links, ved brug af List-mode.

Til gengæld fungerer List-mode godt til følgende:

At generere sitemaps

Opbyg en liste af sider, som du ønsker indekseret, tilføj dem i List-mode og gå til Sitemaps → XML Sitemap.

 

Holde øje med Word Count

Opbyg en liste af sider, som du eller dine kollegaer løbende skriver tekstindhold til. Husk at Word Count medregner ord fra bl.a. header og footer.

 

Optimering af title tags og meta descriptions

Vil du gerne måle længden på title tags og meta descriptions for en lang række sider, samt eksportere dem til Excel for at optimere dem, kan du gøre det med List-mode.

 

Overblik over dine H1 og H2 overskrifter

Nu du er i gang med at optimere titles og descriptions på nogle udvalgte sider, kan du i samme ombæring se, om overskrifterne mangler keywords eller om overskrifterne i det hele taget mangler.

 

Se Canonical tags og NoIndex tags

I stedet for at se i kildekoden, om en given side har korrekt opsætning af canonical tag eller NoIndex tag, kan du undersøge op til 500 sider ad gangen.

For at finde List-mode, skal du:

Gå til Mode → List, i den øverste menu.

 

Screaming frog

 

Er du allerede i gang med et crawl fra Spider mode, vil du blive spurgt om du vil reset dit crawl. Vil du ikke det, kan du i stedet åbne et nyt Screaming Frog vindue.

Når du er i List-mode, klikker du på Upload, og vælger den metode du vil uploade din liste. En nem måde at gøre det på, er at kopiere din liste af URL’er fra fx Excel, og derefter vælge Upload → Paste (eller Enter Manually).

 

Screaming Frog

 

Vi håber at guiden har været en hjælp til dig, der gerne vil prøve kræfter med optimering af dit website.

Har du spørgsmål til ovenstående guide, eller har du brug for vores hjælp til optimering af dit website, kan du kontakte Resolution her.