Nachteil Robots.txt wenn nicht auf server

Beitrag von **derneuling** » 10.01.2006, 00:48

Hi,
ist es schlimm wenn keine robots.txt auf dem server ist ?

Hat es irgendwelche Folgen mit dem Ranking ?

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Hasenhuf** » 10.01.2006, 01:04

Ist u.U. nicht auszuschließen, da muß aber noch was anderes im Argen liegen, z.B. DC. Wahrscheinlich also kein Problem.

Beitrag von **Hobby-SEO** » 10.01.2006, 01:55

@derneuling:

Wenn bei Dir jede Suchmaschine alles spidern darf (oder Du auf nicht zu indizierenden Seiten entsprechende Metatags benutzt (<meta name="robots" content="noindex">), ist das Fehlen einer robots.txt unbedenklich.

Da seriöse Suchmaschinen aber immer versuchen, auf die robots.txt zuzugreifen, werden beim Fehlen dieser Datei halt 404er-Fehler produziert. Deshalb würde ich zumindest eine Minimal-robots.txt verwenden. Die folgende robots.txt erlaubt allen Spidern vollständigen Zugriff auf Deine Seiten:

User-agent: *
Disallow:

LG, Hobby-SEO