ABAKUS

Google ignoriert die robots.txt nicht, wenn sie korrekt ist. Rel-Nofollow würde aber auch nicht schaden.

Dann erklär mir bitte mal kurz, was an folgender robots.txt nicht richtig ist:

User-agent: googlebot
Disallow: /cgi/

User-agent: *
Disallow: /cgi/

Google ackert sich alle paar Wochen mal wieder durchs cgi-Verzeichnis.

Google scheint so ziemlich alles zu ignorieren. Löscht man Seiten mit der URL-Console, dann tauchen sie nach ein paar Monaten trotzdem wieder als zusätzliches Ergebnis auf . Auch Links mit rel=nofollow werden bei der iwebtool-pagerank-prediction Abfrage durchaus schonmal als "normaler" Link angezeigt . Warum also sollte google die robots.txt ernst nehmen :puppydogeyes:?

Grüße, Willy

ole1210 hat geschrieben:Dann erklär mir bitte mal kurz, was an folgender robots.txt nicht richtig ist:

User-agent: googlebot
Disallow: /cgi/

User-agent: *
Disallow: /cgi/

Google ackert sich alle paar Wochen mal wieder durchs cgi-Verzeichnis.

Meinst Du diese URLs von Deiner Site: index.php?content=cgi/anfrage_specials.php

???????

Abgesehen davon solltest Du davon ausgehen, dass nicht alles, was sich Googlebot nennt, auch von Google kommt.

Nun, SloMo, meine robots.txt ist viel älter als Abakus... Google nimmt sie einfach nicht mehr ernst und listet nur deshalb die dynamischen URLs zusätzlich.

Der Anwendung von rel=nofollow wird oft eine negative Wirkung für den Empfänger unterstellt. Deshalb die eigentlich klare Frage (bin ja schon einiges hier gewohnt).

pr_sniper hat geschrieben:Der Anwendung von rel=nofollow wird oft eine negative Wirkung für den Empfänger unterstellt. Deshalb die eigentlich klare Frage (bin ja schon einiges hier gewohnt).

Naja, von Dir ist man hier ja auch schon einiges gewohnt, deshalb schon oben meine klare Antwort: Rel-Nofollow würde nicht schaden.

Wie gesagt, wahrscheinlich ist Deine robots.txt defekt. Das kann auch bei alten robots.txt-Dateien der Fall sein (denn Alter schützt vor Torheit nicht). Poste doch mal die URL um die es geht.