Robots.txt frage

[swity]

Hallo

Wie verhindere ich, das Google URL wie xxx.de/add_url.php?c=4
nicht indexiert?
meine Robots.txt sieht so aus:

Code: Alles auswählen

User-agent: googlebot
Disallow: /*?

User-agent: *
Disallow: /admin.php
Disallow: /admin.php?
Disallow: /add_url.php
Disallow: /add_url.php?
Disallow: /*?

das müßte doch eigendlich so richtig sein, aber google indexiert die Seiten trozdem hier

Ich weiss die Frage wurde hier schon 1000 mal gestellt aber es funktioniert einfach nicht.

gruss
swity

[Gonzalez]

Vielleicht hilft Dir das etwas weiter, auch wenn es (meiner Meinung nach) noch keine funktionierende Lösung für den Einsatz von Wildcards in der robots.txt gibt:

https://www.abakus-internet-marketing.d ... 11778.html

[Kralle]

Hmm, also bei mir schließt Google alle Seiten mit Übergabeparametern nach dem "?" aus.

Wie lange hast du denn die robots.txt so online? Bei mir hat's nämlich auch ein wenig gedauert, bis alle Seiten raus waren. Ich hab dann einfach die URL-Konsole von Google benutzt, und die Funktion "Seiten über robots.txt entfernen" (oder so ähnlich) gewählt, danach waren die Überbleibsel auch draußen.

Nachtrag:

laß einfach mal den Teil

User-agent: googlebot
Disallow: /*?

weg, evtl. erkennt Google die Wildcard nicht, und interpretiert die Anweisung so, daß für ihn nur o. a. Anweisung gilt, und er deshalb die

Code: Alles auswählen

User-agent: *

ignorieren kann.[/i]

[wbartl]

Mache einen zusätzlichen Eintrag für den Googlebot

Code: Alles auswählen

User-agent: googlebot 
Disallow: /*? 
Disallow: /add_url.php? 

User-agent: * 
Disallow: /admin.php 
Disallow: /admin.php? 
Disallow: /add_url.php 
Disallow: /add_url.php? 
Disallow: /*? 

Ich habe die Erfahrung gemacht, das der Googlebot manchmal Einträge in der User-Agent: * Sektion übergeht.

[axelm]

@wbartl
wir dann die Seite "add_url.php" an sich auch ausgeschlossen?
Ich habe das gleich problem und die hauptseite sollte schon drin bleiben.

[swity]

alos die Robots.txt war als erstes auf dem server, bevor ich die daten hochgeladen habe.
werde es jetzt mal so probieren

Code: Alles auswählen

User-agent: googlebot
Disallow: /add_url.php?

User-agent: *
Disallow: /add_url.php
Disallow: /add_url.php?
Disallow: /*?

mal sehen was passiert

werde dann hier berichten.

gruss swity

[Pompom]

Da wird sich nichts ändern.
Wenn der googlebot seinen Eintrag gefunden hat, geht er.
Das
User-agent: *
gilt nur für die, die bis dahin nicht ihre Spezialeintragung gefunden haben.
Richtig:

User-agent: *
Disallow: /add_url.php
Disallow: /add_url.php?

User-agent: googlebot
Disallow: /*?

Wildcard ist Wildcard, und Wildcard wird derzeit nur vom Googlebot verstanden.

[Chris2005]

Code: Alles auswählen

User-agent: googlebot
Disallow: /*?
Disallow: /admin
Disallow: /add_url

User-agent: *
Disallow: /admin
Disallow: /add_url

Funktioniert garantiert. Wie Pompom schrieb: Wenn Google eine Rubrik fuer sich findet, wird der Rest ignoriert. Daher doppelt reinschreiben.

Dateiendungen weglassen, da die Disallow-Eintraege als Platzhalter fungieren. Also alles was mit admin und add_url anfaengt wird nicht indiziert.

Gruss
Chris

[wbartl]

@axelm

wird dann die Seite "add_url.php" an sich auch ausgeschlossen?

Nein, bei dem Eintrag Disallow: /add_url.php? bleibt die add_url.php drin.

Ich benutze das, damit google mein Portal nicht mit Session-Ids spidert und es klappt wunderbar.

[RW]

HI ,

Und wie bekomme ich das hin das alle *.php ausgeschlossen sind ?


RW

[Pompom]

Falls die PHP-Programme im Root liegen:

User-agent: googlebot
Disallow: /*.php

[danielr]

Wie verhindere ich, das Google URL wie xxx.de/add_url.php?c=4
nicht indexiert?

wenn du verhindern willst, dass er sie nicht indexiert, dann:

User-agent: *
Disallow:

(Fragestellung - deutsche sprache, schwere sprache)

gruß,
danielr

[Chris2005]

wenn du verhindern willst, dass er sie nicht indexiert, dann

Und da dies eine doppelte Verneinung ist, werden die doch indiziert. => ignore post