Nachteil Robots.txt wenn nicht auf server

[derneuling]

Hi,
ist es schlimm wenn keine robots.txt auf dem server ist ?

Hat es irgendwelche Folgen mit dem Ranking ?

[Hasenhuf]

Ist u.U. nicht auszuschließen, da muß aber noch was anderes im Argen liegen, z.B. DC. Wahrscheinlich also kein Problem.

[Hobby-SEO]

@derneuling:

Wenn bei Dir jede Suchmaschine alles spidern darf (oder Du auf nicht zu indizierenden Seiten entsprechende Metatags benutzt (<meta name="robots" content="noindex">), ist das Fehlen einer robots.txt unbedenklich.

Da seriöse Suchmaschinen aber immer versuchen, auf die robots.txt zuzugreifen, werden beim Fehlen dieser Datei halt 404er-Fehler produziert. Deshalb würde ich zumindest eine Minimal-robots.txt verwenden. Die folgende robots.txt erlaubt allen Spidern vollständigen Zugriff auf Deine Seiten:

User-agent: *
Disallow:

LG, Hobby-SEO