Paar Fragen zur robots.txt

Beitrag von **darkeye** » 02.09.2005, 13:46

Hallo,

ich habe da ein paar Fragen zur robots.txt:

1: Welche Bedeutung hat folgender Befehl und wofür steht das Fragezeichen:

User-agent:Googlebot
Disallow: forum/*?

2: Angenommen ich möchte dass nicht nur der Googlebot diesen Befehl befolgt, was muss dann hinter dem "User-agent:" stehen, damit sich Yahoo, Lycos, MSN und web.de auch an diesen Befehl halten?

3: Wofür steht hierbei das Dollarzeichen?:

Disallow: forum/ptopic*.html$

Danke schonmal im voraus für die Antworten

Gruss
Daniel

von **Anzeige von ABAKUS** »

Beitrag von **axelm** » 02.09.2005, 16:06

>User-agent:Googlebot
>Disallow: forum/*?

angeblich soll der google bot, dann nix vom Forum indexieren.
Ich weiß ncht ob ein Bot das unterstützt (ich glaube nicht)

ich hatte mal
User-agent: googlebot
# remove Parameters
Disallow: /*?

an einen Google Techi gesendet und der frage mich woher ich die Syntax denn habe, er hatte kannte die nicht.
Ich glaube das mit dem * ist hier oder nem anderen Forum erfunden worden.

Beitrag von **darkeye** » 02.09.2005, 16:10

axelm hat geschrieben:>User-agent:Googlebot
>Disallow: forum/*?

angeblich soll der google bot, dann nix vom Forum indexieren.
Ich weiß ncht ob ein Bot das unterstützt (ich glaube nicht)

Ups, dann wärs wohl besser wenn ich das schnell aus der robots.txt entferne, was.

Aber viele andere Forenbetreiber benutzen diesen Befehl in der robotos.txt auch. Hmm, versteh ich dann nicht, aber egal

Beitrag von **derHund** » 02.09.2005, 16:10

google sagt doch selbst, daß sie sich an den robots exclusion standard halten (bis auf die eine ausnahme). somit ist die syntax ungültig, und dürfte von google nicht so wie gewollt beachtet werden. in das disallow gehören keinerlei reguläre ausdrücke, keine metazeichen wie *, $, ...

Beitrag von **Hobby-SEO** » 02.09.2005, 22:32

Ich selbst benutze in meiner robots.txt Wildcards (* und $).
Zumindest folgende Validatoren haben damit keine Probleme (auch wenn da mal steht: "Although Google supports wildcards in the Disallow field, it is nonstandard"):

https://www.searchengineworld.com/cgi-b ... tcheck.cgi
https://tool.motoricerca.info/robots-checker.phtml

Ein weiterer Link dazu:

https://maettig.com/?page=PHP/Googles_robots.txt

Und wer sich speziell für die robots.txt in Bezug auf SEO-optimierte Foren interessiert, kann hier nachlesen:

https://www.phpbb.de/viewtopic.php?t=44090
https://www.phpbb.de/viewtopic.php?t=82551

LG, Hobby-SEO