Google Webmaster Tools - Crawling-Fehler

Beitrag von **jochla** » 03.02.2011, 13:08

Hallo,

unter "Crawling Fehler" wird eine Webseite aufgeführt mit dem Hinweis: "URL durch "robots.txt" eingeschränkt".

Diese Seite kann aber über den Browser ganz normal aaaufgerufen werden und ist auch in der robots.txt nicht eingetragen.

Ist das wirklich ein Fehler und wie schwerwiegend ist er zu bewerten?

Gruß, Johannes.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Anonymous** » 04.02.2011, 08:23

Hi johannes,
wenn du den Unterordner /beispiel/ ausgeschlossen hast werden alle URl die unterhalb des Ordners automatisch ausgeschlossen.

Simt wäre /beispiel/beispiel.html auch von der robots.txt ausgeschlossen. Das die Seite im Browser angezeigt werden kann ist davon unabhängig.

Hier gibts Infos zur robits.txt: https://de.selfhtml.org/diverses/robots.htm

LG

Beitrag von **jochla** » 04.02.2011, 09:18

Hallo Zasch, danke für deine Antwort.

Soweit ist mir das schon klar. Aber es ist kein Ordner angegeben bzw. als Unterordner ausgeschlossen, auf den diese URL zutreffen würde. Es handelt sich dabei um eine von Typo3 generierte Seite. Deshalb habe ich auch getestet, ob die Seiten-URL wirklich gefunden und angezeigt wird, weil auch ein Umsetzung in suchmaschinenfreundliche URL vorgenommen wird.

Johannes.

Beitrag von **Anonymous** » 04.02.2011, 09:55

sieh dir deine robots.txt an

Beitrag von **jochla** » 05.02.2011, 16:05

Das ist die robots.txt:

Code: Alles auswählen

User-agent&#58; *
Sitemap&#58; http&#58;//www.ruof-raumbegrünung.de/sitemap.xml
Disallow&#58; /fileadmin/_temp_
Disallow&#58; /fileadmin/awstats
Disallow&#58; /fileadmin/templates
Disallow&#58; /t3lib
Disallow&#58; /typo3
Disallow&#58; /typo3_src
Disallow&#58; /typo3conf
Disallow&#58; /typo3temp
Disallow&#58; /uploads

Und das ist die URL die angeblich durch robots.txt eingeschränkt sein soll:

https://www.ruof-raumbegrünung.de/filea ... gefäße.pdf

Das fileadmin-Verzeichnis ist ja doch nicht komplett ausgeschlossen und das Unterverzeichnis "user_upload" ist nicht angegeben.

Warum also?

Beitrag von **TomRidley** » 05.02.2011, 16:34

jochla hat geschrieben:
....Typo3 generierte Seite

Das ist die robots.txt:
Code: Alles auswählen
Disallow&#58; /typo3 
Disallow&#58; /typo3_src 
Disallow&#58; /typo3conf 
Disallow&#58; /uploads
Und das ist die URL .../user_upload/Downloads/Kataloge/GreenOffice_Pflanzgefäße.pdf

Versuch es doch einzeln... stell /uploads wieder frei (ich weis ja nicht wo und wie du die pdf rauf getan hast). Dann gehst du ins WMT und versuchst die Seite zu crawlen. Diagnose -> Abruf wie durch Googlebot.

Wenns immer noch nicht geht versuch es halt mit den typo3 ordner. Kann auch in den .htaccess umgeleitet worden sein.

Nebenbei, ich sehe auch nichts !! Es ladet... und ladet... und dann kommt mal ne Unbenannte leere Seite bei deinem Link. Vielleicht liegt es ja an Google Chrome