IE8 - Google Toolbar 5 und robots.txt

Beitrag von **laborix** » 08.04.2009, 18:40

Hallo zusammen,

auf meinem Webspace habe ich ein Test Verzeichnis, welches in der robots.txt mit einem "disallow" versehen ist. Dies funktioniert seit etwa 1 Jahr ohne Probleme. Dieses Test Verzeichnis ist nur zum Ausprobieren diverser CSS Spielereien gedacht, eigentlich eine CSS Spielwiese. Ist aber ganz nützlich, das die Suchmaschinen dieses Verzeichnis bisher nicht indexiert haben. Will ich auch nicht

Nach dem Update auf IE 8 habe ich mir die Google Toolbar 5 mit installiert. Jetzt stelle ich mir die Frage, wenn ich mit dem IE 8 und Google Toolbar mein Test Verzeichnis besuche, ob Google eventuell diesen Besuch auswertet, trotz Eintrag in der robots.txt, oder dieses Verzeichnis dadurch auf den Index kommt.

Hat da jemand Erfahrungen?

Danke, Laborix

von **Anzeige von ABAKUS** »

Beitrag von **TBT** » 08.04.2009, 18:43

warum sollte Google plötzlich anfangen deine robots.txt zu missachten
nur weil du eine neue Version installiert hast?

Beitrag von **laborix** » 08.04.2009, 18:59

TBT hat geschrieben:nur weil du eine neue Version installiert hast?

Ich hatte vorher keine Google Toolbar installiert, erst nach dem Update auf IE 8.

Im Allgemeinen teste ich mit FF, NS, Opera, Safari, Flock und anderen Browsern. Wie gesagt, bisher hatte der IE keine Toolbar.

Beitrag von **spacefun** » 08.04.2009, 20:56

ob Google eventuell diesen Besuch auswertet, trotz Eintrag in der robots.txt, oder dieses Verzeichnis dadurch auf den Index kommt.

..deine Probleme möchte ich haben.

Was wäre daran so schlimm? Diese Toolbar ist nicht ganz so bösartig wie einige vermuten.
Das du heimlich im Morgengrauen noch an deinem CSS herumspielst wissen eh schon alle

Hinsichtlich des indexierens kann ich dich aber beruhigen..

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /

..wirkt.

Gruss space

Beitrag von **laborix** » 08.04.2009, 21:12

[quote="spacefunWas wäre daran so schlimm? Diese Toolbar ist nicht ganz so bösartig wie einige vermuten. [/quote]
Nichts, ich brauche diese Test Seiten nicht im Index. Es ist eine einfache Grundsatzfrage, ob die Toolbar diese Informationen an Google weitergibt oder nicht.

Beitrag von **spacefun** » 08.04.2009, 21:23

dann kannst du jetzt beruhigt sein.

Die Browserabfrage von dir stimmt bei mir nicht.
Die Bildschirmauflösung wird falsch angegeben.

Gruss space

Beitrag von **laborix** » 09.04.2009, 17:24

spacefun hat geschrieben:Die Browserabfrage von dir stimmt bei mir nicht.
Die Bildschirmauflösung wird falsch angegeben.

Wie meinst du das?

Meinst du eventuell meine Browser- und Plugin/IE Addon Abfrage auf meiner Webseite? Oder hast du eine HTTP Request and Response Header Abfrage mit einem Webtool gemacht?

Beitrag von **laborix** » 18.04.2009, 11:16

laborix hat geschrieben:Jetzt stelle ich mir die Frage, wenn ich mit dem IE 8 und Google Toolbar mein Test Verzeichnis besuche, ob Google eventuell diesen Besuch auswertet, trotz Eintrag in der robots.txt, oder dieses Verzeichnis dadurch auf den Index kommt.

Zur Info:

Nach dem Austesten und einige Tagen später sieht es danach aus, als ob das keine Auswirkungen hat. Das Verzeichnis ist immer noch frei vom Google Bot, trotz Besuche mit Google Toolbar.

Beitrag von **pr_sniper** » 18.04.2009, 11:36

wobei alle Datenbanken von Google, Deutsche Telekom, Schäuble usw. sowieso niemand kennt ... Auch, was sie damit vorhaben oder tun ...

Die robots.txt gibt eine Empfehlung!, macht es aber nicht unmöglich, die Seiten aufzunehmen, zu speichern, zu analysieren, im Ranking zu berücksichtigen usw. usf.

Beitrag von **laborix** » 18.04.2009, 21:56

pr_sniper hat geschrieben:macht es aber nicht unmöglich, die Seiten aufzunehmen, zu speichern, zu analysieren, im Ranking zu berücksichtigen usw. usf.

Durchaus möglich, will/kann nicht das Gegenteil beweisen

Die Auswertung erfolgt über IP-Adressen und HTTP-Identification Kennungen. Ein Google Bot war mit Sicherheit nicht in diesem Verzeichnis. Ist aber auch erst ein paar Tage her, wenn es so bleibt, cool, wenn nicht, werde ich es hier posten

Beitrag von **pr_sniper** » 19.04.2009, 10:08

"Durchaus möglich, will/kann nicht das Gegenteil beweisen" - was soll diese ahnungslose Eierei.

Um einen Zugang zuverlässig zu versperren, mußt du als Webmaster schon etwas mehr tun, z.B. eine entsprechende .htaccess einsetzen ...

Beitrag von **laborix** » 19.04.2009, 15:47

pr_sniper hat geschrieben:"Durchaus möglich, will/kann nicht das Gegenteil beweisen" - was soll diese ahnungslose Eierei.

Cheers...

pr_sniper hat geschrieben: z.B. eine entsprechende .htaccess einsetzen ...

Mache ich bei bestimmten Verzeichnissen seit 4 Jahren so, aber schön, das du es mir gesagt hast

Die Frage ging nicht über einen zuverlässigen Verzeichnisschutz, die Frage ist, ob die Google Toolbar hier etwas mitnimmt, was die robots.txt mit "disable" markiert.

Beitrag von **laborix** » 29.05.2009, 21:09

laborix hat geschrieben:Jetzt stelle ich mir die Frage, wenn ich mit dem IE 8 und Google Toolbar mein Test Verzeichnis besuche, ob Google eventuell diesen Besuch auswertet, trotz Eintrag in der robots.txt, oder dieses Verzeichnis dadurch auf den Index kommt.

Zur Info, mehr als sechs Wochen sind nun vorbei, kein Google Bot hat dieses Verzeichnis besucht. Auch kein anderer Bot.