robots.txt wie bekomm ich

Beitrag von **Yel nats** » 15.08.2006, 07:49

Hallo,

wie bekomm ich per robots.txt folgendes aus Google verbannt

https://www.domain.de/?op=BlogProfile&blogId=20
https://www.domain.de/?op=UserProfile&userId=20

also alles ab .de/?op

Gruß,

Yel nats

von **Anzeige von ABAKUS** »

Beitrag von **mark** » 15.08.2006, 07:56

Dann nimm

/?op*

sollte funktionieren.
Testen kann man es auch über Google Sitemaps.

Beitrag von **KOHLFUERST** » 15.08.2006, 12:13

Vor ca. 2 Wochen hat hier jemand einen Link gepostet der auf Google ganz genaue Anweisungen für Meta Tags gibt. Der Inhalt des Dokuments gibng etwas tiefer. Vielleicht schaust du mal nach. Im Thread ging es darum Google für PHP Session ID's zu sperren. Grüße, Michael

Beitrag von **KOHLFUERST** » 18.08.2006, 08:27

@yel nats - hier ist ein Link zur großen Mama der dir genaue Anweisungen für alle arten von Sperrungen gibt. Damit ist es einfach die URLs mit Session Variablen auszusperren - vor allem für ALLE Suchmaschinen. Wichtig ist aber, dass du den Suchmaschinen einen Link legst der ohne Session auskommt - sonst kommen deine Seiten nie in die SuMas

https://www.google.com/support/webmaste ... pic=&type=

Grüße, Michael

Beitrag von **Hasenhuf** » 18.08.2006, 10:59

KOHLFUERST hat geschrieben:- vor allem für ALLE Suchmaschinen.

google hat geschrieben:Da es sich jedoch um eine Erweiterung des Standards handelt, wird das Muster eventuell nicht von allen Suchmaschinen erkannt.

Beitrag von **KOHLFUERST** » 18.08.2006, 11:19

@hasenhuf - in dem Fall verwende ich immer

User-agent: *
Disallow: https://www.domain.xx/phpsessionid=

Das dürfte somit alles ausschliessen was damit beginnt und müsste meiner Erfahrung nach für alle Suchmaschinen passen. Wir haben das mal bei einem Portal mit echten 2,4 Mio Seiten und 2 Domains probiert. Da haben wir eine der beiden Domains in der robots.txt gesperrt. Als die draussen war, haben wir diese neu bestückt.