Seite 1 von 1
Robots.txt frage
Verfasst: 21.07.2005, 07:45
von swity
Hallo
Wie verhindere ich, das Google URL wie xxx.de/add_url.php?c=4
nicht indexiert?
meine Robots.txt sieht so aus:
Code: Alles auswählen
User-agent: googlebot
Disallow: /*?
User-agent: *
Disallow: /admin.php
Disallow: /admin.php?
Disallow: /add_url.php
Disallow: /add_url.php?
Disallow: /*?
das müßte doch eigendlich so richtig sein, aber google indexiert die Seiten trozdem
hier
Ich weiss die Frage wurde hier schon 1000 mal gestellt aber es funktioniert einfach nicht.
gruss
swity
Verfasst: 21.07.2005, 09:42
von Gonzalez
Vielleicht hilft Dir das etwas weiter, auch wenn es (meiner Meinung nach) noch keine funktionierende Lösung für den Einsatz von Wildcards in der robots.txt gibt:
https://www.abakus-internet-marketing.d ... 11778.html
Robots.txt frage
Verfasst: 21.07.2005, 09:52
von Kralle
Hmm, also bei mir schließt Google alle Seiten mit Übergabeparametern nach dem "?" aus.
Wie lange hast du denn die robots.txt so online? Bei mir hat's nämlich auch ein wenig gedauert, bis alle Seiten raus waren. Ich hab dann einfach die URL-Konsole von Google benutzt, und die Funktion "Seiten über robots.txt entfernen" (oder so ähnlich) gewählt, danach waren die Überbleibsel auch draußen.
Nachtrag:
laß einfach mal den Teil
User-agent: googlebot
Disallow: /*?
weg, evtl. erkennt Google die Wildcard nicht, und interpretiert die Anweisung so, daß für ihn nur o. a. Anweisung gilt, und er deshalb die
ignorieren kann.[/i]
Verfasst: 21.07.2005, 09:53
von wbartl
Mache einen zusätzlichen Eintrag für den Googlebot
Code: Alles auswählen
User-agent: googlebot
Disallow: /*?
Disallow: /add_url.php?
User-agent: *
Disallow: /admin.php
Disallow: /admin.php?
Disallow: /add_url.php
Disallow: /add_url.php?
Disallow: /*?
Ich habe die Erfahrung gemacht, das der Googlebot manchmal Einträge in der User-Agent: * Sektion übergeht.
Robots.txt frage
Verfasst: 21.07.2005, 10:27
von axelm
@wbartl
wir dann die Seite "add_url.php" an sich auch ausgeschlossen?
Ich habe das gleich problem und die hauptseite sollte schon drin bleiben.
Verfasst: 21.07.2005, 13:14
von swity
alos die Robots.txt war als erstes auf dem server, bevor ich die daten hochgeladen habe.
werde es jetzt mal so probieren
Code: Alles auswählen
User-agent: googlebot
Disallow: /add_url.php?
User-agent: *
Disallow: /add_url.php
Disallow: /add_url.php?
Disallow: /*?
mal sehen was passiert
werde dann hier berichten.
gruss swity
Robots.txt frage
Verfasst: 21.07.2005, 13:29
von Pompom
Da wird sich nichts ändern.
Wenn der googlebot seinen Eintrag gefunden hat, geht er.
Das
User-agent: *
gilt nur für die, die bis dahin nicht ihre Spezialeintragung gefunden haben.
Richtig:
User-agent: *
Disallow: /add_url.php
Disallow: /add_url.php?
User-agent: googlebot
Disallow: /*?
Wildcard ist Wildcard, und Wildcard wird derzeit nur vom Googlebot verstanden.
Re: Robots.txt frage
Verfasst: 21.07.2005, 14:30
von Chris2005
Code: Alles auswählen
User-agent: googlebot
Disallow: /*?
Disallow: /admin
Disallow: /add_url
User-agent: *
Disallow: /admin
Disallow: /add_url
Funktioniert garantiert. Wie Pompom schrieb: Wenn Google eine Rubrik fuer sich findet, wird der Rest ignoriert. Daher doppelt reinschreiben.
Dateiendungen weglassen, da die Disallow-Eintraege als Platzhalter fungieren. Also alles was mit admin und add_url
anfaengt wird nicht indiziert.
Gruss
Chris
Verfasst: 21.07.2005, 21:43
von wbartl
@axelm
wird dann die Seite "add_url.php" an sich auch ausgeschlossen?
Nein, bei dem Eintrag Disallow: /add_url.php? bleibt die add_url.php drin.
Ich benutze das, damit google mein Portal nicht mit Session-Ids spidert und es klappt wunderbar.
Verfasst: 21.07.2005, 22:07
von RW
HI ,
Und wie bekomme ich das hin das alle *.php ausgeschlossen sind ?
RW
Robots.txt frage
Verfasst: 22.07.2005, 09:01
von Pompom
Falls die PHP-Programme im Root liegen:
User-agent: googlebot
Disallow: /*.php
Re: Robots.txt frage
Verfasst: 22.07.2005, 12:25
von danielr
swity hat geschrieben:
Wie verhindere ich, das Google URL wie xxx.de/add_url.php?c=4
nicht indexiert?
wenn du
verhindern willst, dass er sie
nicht indexiert, dann:
User-agent: *
Disallow:
(Fragestellung - deutsche sprache, schwere sprache)
gruß,
danielr
Robots.txt frage
Verfasst: 22.07.2005, 13:08
von Chris2005
wenn du verhindern willst, dass er sie nicht indexiert, dann
Und da dies eine doppelte Verneinung ist, werden die doch indiziert.
=> ignore post
