Googlebot ignoriert robots.txt

Hallo,

ich habe in den letzten Wochen ziemlich viele Projekte neu online gestehlt und bei nahezu allen ist mir aufgefallen, dass der Googlebot eigentlich immer die robots ignoriert und die gesperrten Pfad aufnimmt und auch über site anzeigt, allerdings nur die URL, keine Titel, keine Beschreibung.

Ist das noch jemanden aufgefallen und kann man dagegen machen?

Das ist ein normales Verhalten des Crawlers - die URLs werden nicht gecrawlt - was jedoch nicht heisst, dass die URL / Reference nicht im Index auftaucht.

-> https://googlewebmastercentral.blogspot ... oogle.html im Video -> Minute 5 bis Minute 6 wirds erklärt.

Gruß
tbone.

marky hat geschrieben:dass der Googlebot eigentlich immer die robots ignoriert und die gesperrten Pfad aufnimmt und auch über site anzeigt,

allerdings nur die URL, keine Titel, keine Beschreibung.

was verbietet die robots.txt?
das besuchen einer Seite
nicht das finden von Links zu dieser Seite

1. index.html ... mit link auf /Ausgang/irgednwas.html
2. /Ausgang/irgednwas.html

1 darf gelesen werden, wird gelesen und 2 wird gefunden
2 kommt in todo-Liste, damit erscheint sie auch schonmal in site:
beim Versuch die todo abzuarbeiten wird sie als "verboten" markiert und bleibt ohne Desc oder verschwiemdet vielleicht auch wieder

warum kommt sie ertmal in die todo und site:
warum merkst du das die Milch sauer ist, erst wenn du sie im Mund hast .... weil du nicht alles was du aus dem Schrank nimmst prüfst ob du es auf den Tisch oder Mülleimer packen sollst .... zu 99,99% ist Ergebniss der Prüfung "OK"=Tisch ... also Resourcenverschwendung die Prüfung durchzuführen


Gruß
Andy 800XE Zmuda

Hallo,

danke für die Antworten, ich schliesse mit der robots, halt ein oder zwei Verzeichnsse aus und die haben zudem noch noindex. Tauchen aber trotzdem auf, auch bei älteren Pages. Das ist unlogisch, finde ich zumindest, es hat auch seinen Grund warum ich mache, das ist echt Käse.

Naja, mal sehen, wie es weitergeht.