Seite 1 von 1
hilfe robots.txt
Verfasst: 07.01.2003, 12:01
von Veronika
Hilfe
in meiner statistik sehe ich immer das suchmaschinen nach einer nicht vorhandenen datei namesn "robots.txt" gesucht wird
was mach ich jetzt wo bekomme ich solche datei her?
und wie wichtig ist die robots.txt ?
Gruss Veronika
robots.txt erstellen
Verfasst: 08.01.2003, 23:04
von Webby
Manchmal ist es sinnvoll, bestimmte Seiten oder Bereiche einer Site vor der Indexierung zu schützen. Zum Beispiel dann, wenn es sich um Seiten handelt, die sich täglich ändern oder an denen noch gearbeitet wird. Auch Programmdateien, Bilder oder Logfiles will man vielleicht vor Robots schützen.
Das ist genau das, was ich selbst auch gemacht habe...
schau Dir mal die ABAKUS robots.txt datei an...
https://www.abakus-internet-marketing.de/robots.txt
Hier die gesamte Resource...
https://www.suchfibel.de/6gefunden/robotstxt.htm
Unten kannst Du Deine eigene robots.txt einfach generieren...
https://www.searchcode.de/robotstxt.php
Es gibt KEINEN Nachteil wenn Deine Seite kein robots.txt Datei hat. Sie hält zB. email sammel roboter auf und schützt "member" Bereiche vor dem Google cache oder anderen.
