robots.txt

Beitrag von **Wirths Media** » 05.12.2005, 20:55

Wie kann ich Dyn Seiten per Robots für alle Sumas sperren?

User-Agent: *
disallow: /?

Ist das richtig?

danke

Daniel

von **Anzeige von ABAKUS** »

Beitrag von **Hobby-SEO** » 05.12.2005, 22:19

Hallo Daniel,

ich fürchte, es gibt keine Möglichkeit, dynamische Seiten für alle Sumas gleichzeitig zu sperren, es sei denn, die dynamischen Seiten liegen allesamt in einem bestimmten Ordner oder haben denselben Dateinamen-Anfang.

Für Google sollte folgendes klappen:

User-agent: Googlebot
Disallow: /*?

Andere Sumas kennen aber keine Platzhalter (*). Mit Disallow: /? würdest Du nur alle Dateien und alle Ordner ausschließen, die mit einem "?" beginnen.

LG, Hobby-SEO

Beitrag von **Wirths Media** » 05.12.2005, 22:33

danke bin ich wenigsten wieder nen bisschen schlauer...

Beitrag von **hansmaiser** » 12.12.2005, 21:32

Habe ein ähnliches Problem, wie sperre ich alle Verweise, die mit index.php? anfangen --> meine dynamischen Seiten fangen alle mit index.php (Mambo) an, da ich modrewrite einsetze könnte das jedoch zu DC führen.

Deshalb brauche ich eine Regel um die dynamischen Seiten zu sperren. Wäre sowas richtig:

User-Agent: *
disallow: /index.php?

Beitrag von **Hobby-SEO** » 12.12.2005, 21:41

@hansmaiser:

Ja, ist richtig.

Theoretisch müsste auch ein Disallow: /index.php und sogar ein Disallow: /index genügen.

LG, Hobby-SEO

Beitrag von **hansmaiser** » 12.12.2005, 22:51

Wenn ich aber Disallow: /index schreiben würde, dann würde ich doch auch meine Startseite sperren oder?

Beitrag von **Hobby-SEO** » 12.12.2005, 22:57

Das kommt darauf an, wie Deine Startseite lautet. Du kannst ja in die .htaccess Folgendes reinschreiben:

DirectoryIndex startseite.html

In diesem Fall heißt Deine Startseite startseite.html

In Deinem Fall würde ich Dir aber folgende robots.txt empfehlen:

User-agent: Googlebot
Disallow: /*?

LG, Hobby-SEO

Beitrag von **hansmaiser** » 12.12.2005, 23:34

Hmm, weiss selber nicht wie meine Startseite heisst, ich leite die Startseite per modrewrite auf / um, welche Datei das ist weiss ich nicht...

Was mache ich mit den anderen Bots, die Disallow: /*? nicht verstehen. Ich mein, ich will ja nicht unbedingt DC in den anderen Suchmaschinen produzieren.

User-agent: Googlebot
Disallow: /*?

Damit erreiche ich doch nur, dass der GoogleBot die dynamischen Seiten nicht spidert, aber Yahoo & msn würden es doch tun, oder?

Beitrag von **Hobby-SEO** » 12.12.2005, 23:54

Ja, Disallow: /*? funktioniert nur für den Googlebot. Schreib Folgendes in Deine robots.txt - dann bist Du auf der sicheren Seite:

User-agent: *
Disallow: /index.php?

LG, Hobby-SEO