Sådan kan man slå en hjemmeside ud af Google

Okay, det er måske en lidt kryptisk overskrift, men der er på trods af det, en del sandhed i overskriften for man kan faktisk få “dræbt” sin hjemmeside stille og roligt med Robots.txt. 

Lad os lige få styr på Robotx.txt

Robots.txt er en fil, der ligger i roden af din hjemmeside – hos os er det så www.indicom.dk/robots.txt – og denne fils funktion er at fortælle f.eks. Google om de filer og foldere der IKKE må hentes / indekseres når Google kommer forbi. Det er en ganske smart funktion, for så kan jeg f.eks. fortælle Google, at jeg ikke ønsker mine Adwords kampagnesider indekseret, da de kun vil være på hjemmesiden i kort tid.

Robots.txt kan også bruges til at fortælle f.eks. Google at folderne med mit CMS (WordPress) ikke skal indekseres.

Goddag – jeg vil gerne købe en omgang “luk min konkurrent”

Men hvordan bruger man så denne robots.txt til at “dræbe” en hjemmeside?

Først må jeg berolige dig med, at det ikke er noget man bare sådan lige gør og det er heller ikke hver dag, at jeg oplever denne teknik brugt. Men jeg har været ude for at det var sket, og derfor bør man i det mindste være opmærksom på at “teknikken” findes.

Forstil dig, at jeg sælger et produkt som kan sælges i hele verden. Jeg har gode placeringer i Google, men ikke gode nok, for min værste konkurrent ligger foran mig på alle de vigtige søgeord. Jeg kan ganske enkelt ikke komme forbi ham i søgeresultatet og derfor beslutter jeg mig for at skade min “modstander”.

Jeg kan skade ham på mange måder, og en af dem er at angribe hans Robots.txt fil.

Den “ydelse” kan jeg købe mig til på nettet på de steder hvor solen ikke skinner så meget – læs: det er bestemt ikke lovligt!

Jeg køber ydelsen og nu angribes min konkurrents hjemmeside hvor min “leverandør” stille og roligt ændre Robots.txt filen til at fortælle Google at der ikke er noget at indeksere overhovedet.

Altså får Google at vide, at den ikke mere skal hente indholdet på min konkurrents hjemmeside, og dermed forsvinder min konkurrent i Googles søgeresultater – og vupti, så kom jeg forbi min konkurrent i søgeresultatet.

Det onde i denne teknik er, at mange godt kan se at deres placeringer er væk, men de kikker ikke som det første sted i Robots.txt filen for at finde ud af hvorfor de pludselig er ude af Googles indeks.

Hvad kan jeg gøre mod det?

For det første vil jeg sige, at det ikke er en teknik jeg oplever så ofte, så bliv nu ikke forskrækket. Men, jeg har oplevet det, og det sker og derfor er det også relevant at vide, hvordan man ser tegn på at det sker.

I Google kan du lave denne søgning: Site:ditdomæne.dk 

Det søgningen gør, er at bede Google om at vise dig alle de sider der er indekseret. Hvis der ikke er nogen resultater, så tag action med det samme!

Hvis du ser et resultat som herunder, så tag action med det samme:

robots

Når jeg skriver, at du skal tage action med det samme, så betyder det at du skal kontakte din leverandør af hjemmesiden eller SEO firma og bede dem om at kikke på det.

Du er naturligvis også meget velkommen til at kontakte os – vi tjekker det naturligvis gerne for dig.

Du kan også kaste dig ud i selv at undersøge hvad der er galt og det kræver at du ved lidt om Robots.txt hvilket du kan finde info om her The Web Robots pages.

Hvis du er mere visuel som jeg er, så kan du i denne video få en lille indførelse i, hvordan man bygger en basis Robots.txt fil:

Du skal dog være opmærksom på, at de fleste hjemmesidesystemer som f.eks. WordPress har plugins der klare det for dig.

Sådan bruger hackerne din Robots.txt

I mit næste indlæg vil jeg vise dig hvordan hackere kan bruge Robots.txt til at finde systemer de kan hacke og hvordan du kan undgå at det sker for dig.

Men som sagt, gå ikke i panik men være opmærksom på at hvis der sker pludselige udfald på din hjemmeside, så kan dette være en af de mange ting der kan være sket.

Et udfald kan være hvis trafikken pludseligt udebliver helt på din hjemmeside eller hvis der pludseligt ikke kommer ordre fra webshoppen.

Hvorfor skrive om det her?

Og lige for at slå helt fast – jeg kender til dette fordi min opgave er at være på forkant med udviklingen så mine kunder ved, at de er i trygge hænder. Jeg kunne aldrig finde på selv at bruge sådanne metoder.

Jeg skriver om det for, at du som almindelig hjemmesideejer kan få et lille kik ind i en verden, som du måske ikke kender så meget til, og for at du kan kende nogle af de tegn der er når noget går galt med ens hjemmeside.