
Sådan styrer du søgemaskine-robotterne med robots.txt
Når du driver et website, så er det ikke altid, at du ønsker, at alt dit indhold bliver indekseret og dermed at finde via Google. Heldigvis kan du selv styre, hvilke sider der skal på Google og hvilke der ikke skal. I denne artikel kigger på vi en lille tekstfil, som hedder robots.txt, som du