Seite 1 von 1
Google Webmaster Tools - Crawling-Fehler
Verfasst: 03.02.2011, 13:08
von jochla
Hallo,
unter "Crawling Fehler" wird eine Webseite aufgeführt mit dem Hinweis: "URL durch "robots.txt" eingeschränkt".
Diese Seite kann aber über den Browser ganz normal aaaufgerufen werden und ist auch in der robots.txt nicht eingetragen.
Ist das wirklich ein Fehler und wie schwerwiegend ist er zu bewerten?
Gruß, Johannes.
Verfasst: 04.02.2011, 08:23
von Zasch
Hi johannes,
wenn du den Unterordner /beispiel/ ausgeschlossen hast werden alle URl die unterhalb des Ordners automatisch ausgeschlossen.
Simt wäre /beispiel/beispiel.html auch von der robots.txt ausgeschlossen. Das die Seite im Browser angezeigt werden kann ist davon unabhängig.
Hier gibts Infos zur robits.txt:
https://de.selfhtml.org/diverses/robots.htm
LG
Verfasst: 04.02.2011, 09:18
von jochla
Hallo Zasch, danke für deine Antwort.
Soweit ist mir das schon klar. Aber es ist kein Ordner angegeben bzw. als Unterordner ausgeschlossen, auf den diese URL zutreffen würde. Es handelt sich dabei um eine von Typo3 generierte Seite. Deshalb habe ich auch getestet, ob die Seiten-URL wirklich gefunden und angezeigt wird, weil auch ein Umsetzung in suchmaschinenfreundliche URL vorgenommen wird.
Johannes.
Verfasst: 04.02.2011, 09:55
von lois69
sieh dir deine robots.txt an
Verfasst: 05.02.2011, 16:05
von jochla
Das ist die robots.txt:
Code: Alles auswählen
User-agent: *
Sitemap: http://www.ruof-raumbegrünung.de/sitemap.xml
Disallow: /fileadmin/_temp_
Disallow: /fileadmin/awstats
Disallow: /fileadmin/templates
Disallow: /t3lib
Disallow: /typo3
Disallow: /typo3_src
Disallow: /typo3conf
Disallow: /typo3temp
Disallow: /uploads
Und das ist die URL die angeblich durch robots.txt eingeschränkt sein soll:
https://www.ruof-raumbegrünung.de/filea ... gefäße.pdf
Das fileadmin-Verzeichnis ist ja doch nicht komplett ausgeschlossen und das Unterverzeichnis "user_upload" ist nicht angegeben.
Warum also?
Verfasst: 05.02.2011, 16:34
von TomRidley
jochla hat geschrieben:
....Typo3 generierte Seite
Das ist die robots.txt:
Code: Alles auswählen
Disallow: /typo3
Disallow: /typo3_src
Disallow: /typo3conf
Disallow: /uploads
Und das ist die URL .../user_upload/Downloads/Kataloge/GreenOffice_Pflanzgefäße.pdf
Versuch es doch einzeln... stell /uploads wieder frei (ich weis ja nicht wo und wie du die pdf rauf getan hast). Dann gehst du ins WMT und versuchst die Seite zu crawlen. Diagnose -> Abruf wie durch Googlebot.
Wenns immer noch nicht geht versuch es halt mit den typo3 ordner. Kann auch in den .htaccess umgeleitet worden sein.
Nebenbei, ich sehe auch nichts !! Es ladet... und ladet... und dann kommt mal ne Unbenannte leere Seite bei deinem Link. Vielleicht liegt es ja an Google Chrome
