ABAKUS

du kannst nur verzeichnisse ausschlissen und keine einzelnen Dateien.

Das ist m.E. nicht ganz zutreffend, Frank.
https://www.robotstxt.org/wc/exclusion-admin.html
https://www.google.de/webmasters/faq.html

In Bezug auf Verzeichnisse hatte ich bisher keine Probleme mit dem Ausschliessen in der robots.txt.

Auf das Ausschliessen von Dateien habe sicherheitshalber verzichtet, da ich hier im Forum gelesen hatte, dass das nicht funktioniert.

Das funktioniert bei mir mit Google insoweit, als zwar die Seiten im Index sind, aber ohne Beschreibung und Inhalt, also nur Dateiname.

Google weiß also nur, daß es die ausgeschlossene Seite gibt.

Jojo hat geschrieben:Auf das Ausschliessen von Dateien habe sicherheitshalber verzichtet, da ich hier im Forum gelesen hatte, dass das nicht funktioniert.

hat G doch x-fach selber in der robots.txt :

https://www.google.de/robots.txt

Gruss

Das funktioniert bei mir mit Google insoweit, als zwar die Seiten im Index sind, aber ohne Beschreibung und Inhalt, also nur Dateiname.

Völlig normales Verhalten. URL ist im Index, aber nicht gecrawlt.

hmmm, ok

hatte ich mal mit einem Forum und der members.php versucht, hatte leider nicht funktioniert.

Beschreibung war zwar keine da allerdings wurden die profile als Backlink bei anderen angezeigt.


Seltsam -naja egal.

Gruss Frank

Also in den xt-commerce Shops klappt das nicht, da spidert er die Dateien, trotz der Robots.txt

ich benutze die robots.txt seit ein paar monaten um dynamische urls (präfix z.b. "/index.htm?") auszuschliessen. das klappt wunderbar, der googlebot spidert nur noch die "statischen" links. die urls mit parametern sind zwar noch im index (auch meist ohne text), aber ich vermute nur noch als überbleibsel von vorher. ich hoffe, daß diese nach und nach automatisch rausfliegen.

@mario670: check doch mal, wann/ob google sich die robots.txt zuletzt geholt hat -- evtl. falsche zugriffsrechte?

moin moin,

schönes beispiel für robots.txt und url-hijacking,

da habe ich doch glatt meine testdomain gekapert.

https://www.google.de/search?q=allinurl ... 1&filter=0

trotz

Disallow: /cgi-bin/
Disallow: /cgi-bin/outbound.pl?*$

manchmal klappt es und manchmal klapperts es nur.

werde mein redirect-script jetzt mal so umbauen,
das ne abfrage nach suchmaschine reinkommt.

wo dann der text "verpisst euch hier" ausgegeben wird,
mit link auf die robots.txt.

grüsse

bugscout, dateimuster (*) sind kein offizieller bestandteil der exclusion-richtlinien, und das $-zeichen ist ein regex-code. evtl. verwirrst du den bot dadurch. besser nur den präfix einsetzen -- bzw. rausnehmen, der erste disallow ist eh ein catchall für das cgi-bin.

moin moin,

nur cgi-bin bin ich schon kräftig mit auf die schnauze gefallen in bezug auf url-hijacking.

das funktioniert bei anderen dommains eigentlich ganz gut nach besagtem muster.

vielleicht hat der bot sich ja auch einfach irgendwo durch die hintertür ohne
robots.txt auf den server geschlichen.

ich teste noch in bezug auf sichere lösung.
mit oder ohne *,
mit oder ohne $

grüsse

ja sag mal bescheid wenn du irgendwelche ergebnisse hast. was ich auch empfehlen würde, wäre gleichzeitig noch per java script auf die outbound.pl datei zu linken. hält bestimmt auch noch a weng was ab. die frage ist nur wie ich es am besten mache, dass der bot das javascript nicht verfolgt.

gruss

schorsch