Seite 1 von 1

IE8 - Google Toolbar 5 und robots.txt

Verfasst: 08.04.2009, 18:40
von laborix
Hallo zusammen,

auf meinem Webspace habe ich ein Test Verzeichnis, welches in der robots.txt mit einem "disallow" versehen ist. Dies funktioniert seit etwa 1 Jahr ohne Probleme. Dieses Test Verzeichnis ist nur zum Ausprobieren diverser CSS Spielereien gedacht, eigentlich eine CSS Spielwiese. Ist aber ganz nützlich, das die Suchmaschinen dieses Verzeichnis bisher nicht indexiert haben. Will ich auch nicht :D

Nach dem Update auf IE 8 habe ich mir die Google Toolbar 5 mit installiert. Jetzt stelle ich mir die Frage, wenn ich mit dem IE 8 und Google Toolbar mein Test Verzeichnis besuche, ob Google eventuell diesen Besuch auswertet, trotz Eintrag in der robots.txt, oder dieses Verzeichnis dadurch auf den Index kommt.

Hat da jemand Erfahrungen?

Danke, Laborix

Verfasst:
von
SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Verfasst: 08.04.2009, 18:43
von TBT
warum sollte Google plötzlich anfangen deine robots.txt zu missachten
nur weil du eine neue Version installiert hast?

Verfasst: 08.04.2009, 18:59
von laborix
TBT hat geschrieben:nur weil du eine neue Version installiert hast?
Ich hatte vorher keine Google Toolbar installiert, erst nach dem Update auf IE 8.

Im Allgemeinen teste ich mit FF, NS, Opera, Safari, Flock und anderen Browsern. Wie gesagt, bisher hatte der IE keine Toolbar.

Verfasst: 08.04.2009, 20:56
von spacefun
ob Google eventuell diesen Besuch auswertet, trotz Eintrag in der robots.txt, oder dieses Verzeichnis dadurch auf den Index kommt.
..deine Probleme möchte ich haben. :-?
Was wäre daran so schlimm? Diese Toolbar ist nicht ganz so bösartig wie einige vermuten.
Das du heimlich im Morgengrauen noch an deinem CSS herumspielst wissen eh schon alle :P
Hinsichtlich des indexierens kann ich dich aber beruhigen..

Code: Alles auswählen

User-agent: *
Disallow: /
..wirkt.

Gruss space :wink:

Verfasst: 08.04.2009, 21:12
von laborix
[quote="spacefunWas wäre daran so schlimm? Diese Toolbar ist nicht ganz so bösartig wie einige vermuten. [/quote]
Nichts, ich brauche diese Test Seiten nicht im Index. Es ist eine einfache Grundsatzfrage, ob die Toolbar diese Informationen an Google weitergibt oder nicht.

Verfasst: 08.04.2009, 21:23
von spacefun
dann kannst du jetzt beruhigt sein.

Die Browserabfrage von dir stimmt bei mir nicht.
Die Bildschirmauflösung wird falsch angegeben.

Gruss space :wink:

Verfasst: 09.04.2009, 17:24
von laborix
spacefun hat geschrieben:Die Browserabfrage von dir stimmt bei mir nicht.
Die Bildschirmauflösung wird falsch angegeben.
Wie meinst du das?

Meinst du eventuell meine Browser- und Plugin/IE Addon Abfrage auf meiner Webseite? Oder hast du eine HTTP Request and Response Header Abfrage mit einem Webtool gemacht?

Re: IE8 - Google Toolbar 5 und robots.txt

Verfasst: 18.04.2009, 11:16
von laborix
laborix hat geschrieben:Jetzt stelle ich mir die Frage, wenn ich mit dem IE 8 und Google Toolbar mein Test Verzeichnis besuche, ob Google eventuell diesen Besuch auswertet, trotz Eintrag in der robots.txt, oder dieses Verzeichnis dadurch auf den Index kommt.
Zur Info:

Nach dem Austesten und einige Tagen später sieht es danach aus, als ob das keine Auswirkungen hat. Das Verzeichnis ist immer noch frei vom Google Bot, trotz Besuche mit Google Toolbar.

Verfasst: 18.04.2009, 11:36
von pr_sniper
:lol: wobei alle Datenbanken von Google, Deutsche Telekom, Schäuble usw. sowieso niemand kennt ... Auch, was sie damit vorhaben oder tun ...

Die robots.txt gibt eine Empfehlung!, macht es aber nicht unmöglich, die Seiten aufzunehmen, zu speichern, zu analysieren, im Ranking zu berücksichtigen usw. usf.

Verfasst: 18.04.2009, 21:56
von laborix
pr_sniper hat geschrieben:macht es aber nicht unmöglich, die Seiten aufzunehmen, zu speichern, zu analysieren, im Ranking zu berücksichtigen usw. usf.
Durchaus möglich, will/kann nicht das Gegenteil beweisen :wink:

Die Auswertung erfolgt über IP-Adressen und HTTP-Identification Kennungen. Ein Google Bot war mit Sicherheit nicht in diesem Verzeichnis. Ist aber auch erst ein paar Tage her, wenn es so bleibt, cool, wenn nicht, werde ich es hier posten :)

Verfasst: 19.04.2009, 10:08
von pr_sniper
"Durchaus möglich, will/kann nicht das Gegenteil beweisen" - was soll diese ahnungslose Eierei.

Um einen Zugang zuverlässig zu versperren, mußt du als Webmaster schon etwas mehr tun, z.B. eine entsprechende .htaccess einsetzen ...

Verfasst: 19.04.2009, 15:47
von laborix
pr_sniper hat geschrieben:"Durchaus möglich, will/kann nicht das Gegenteil beweisen" - was soll diese ahnungslose Eierei.
Cheers...
pr_sniper hat geschrieben: z.B. eine entsprechende .htaccess einsetzen ...
Mache ich bei bestimmten Verzeichnissen seit 4 Jahren so, aber schön, das du es mir gesagt hast ;)

Die Frage ging nicht über einen zuverlässigen Verzeichnisschutz, die Frage ist, ob die Google Toolbar hier etwas mitnimmt, was die robots.txt mit "disable" markiert.

Re: IE8 - Google Toolbar 5 und robots.txt

Verfasst: 29.05.2009, 21:09
von laborix
laborix hat geschrieben:Jetzt stelle ich mir die Frage, wenn ich mit dem IE 8 und Google Toolbar mein Test Verzeichnis besuche, ob Google eventuell diesen Besuch auswertet, trotz Eintrag in der robots.txt, oder dieses Verzeichnis dadurch auf den Index kommt.
Zur Info, mehr als sechs Wochen sind nun vorbei, kein Google Bot hat dieses Verzeichnis besucht. Auch kein anderer Bot.