Seite 1 von 1
Nachteil Robots.txt wenn nicht auf server
Verfasst: 10.01.2006, 00:48
von derneuling
Hi,
ist es schlimm wenn keine robots.txt auf dem server ist ?
Hat es irgendwelche Folgen mit dem Ranking ?
Nachteil Robots.txt wenn nicht auf server
Verfasst: 10.01.2006, 01:04
von Hasenhuf
Ist u.U. nicht auszuschließen, da muß aber noch was anderes im Argen liegen, z.B. DC. Wahrscheinlich also kein Problem.
Nachteil Robots.txt wenn nicht auf server
Verfasst: 10.01.2006, 01:55
von Hobby-SEO
@derneuling:
Wenn bei Dir jede Suchmaschine alles spidern darf (oder Du auf nicht zu indizierenden Seiten entsprechende Metatags benutzt (<meta name="robots" content="noindex">), ist das Fehlen einer robots.txt unbedenklich.
Da seriöse Suchmaschinen aber immer versuchen, auf die robots.txt zuzugreifen, werden beim Fehlen dieser Datei halt 404er-Fehler produziert. Deshalb würde ich zumindest eine Minimal-robots.txt verwenden. Die folgende robots.txt erlaubt allen Spidern vollständigen Zugriff auf Deine Seiten:
User-agent: *
Disallow:
LG, Hobby-SEO
