Seite 1 von 2

Opera: Googlebot im Schlepptau [Intern.de]

Verfasst: 26.09.2003, 14:14
von Southmedia
Gerade folgenden Artikel auf Intern.de gelesen:
https://www.intern.de/news/4808.html
Ein Leser von intern.de hat in der neuesten Version von Opera ein Feature entdeckt, das man durchaus als Sicherheitsproblem bezeichnen kann. Das Problem steht in Zusammenhang mit der neuesten Ausgabe des Browser. In der kostenlosen Version Operas ist es jetzt möglich, statt graphischer Anzeigen die Textwerbung Googles zu erhalten.

Der Leser nutzt ein Content Management System, bei dem die Anwender während ihrer Eingabe-Sitzungen durch einen Session-Key identifiziert werden. Dieser Schlüssel ist im URL des Dokumentes sichtbar, aber nicht als solcher erkennbar. Denn als Trennzeichen werden lediglich Slashes (/) verwendet.

Bei der Benutzung von Opera stellte der Leser nun aber fest, dass auch der Google-Robot im URL keinen Schlüssel der Sitzung erkennt. Und innerhalb einer Minute besuchte der Googlebot den Server, um exakt die zuvor benutzte URL abzurufen.

Seitens Google ist diese Praxis nachvollziehbar, denn die Textanzeigen sollen ja im Kontext der besuchten Seiten erscheinen. Dazu ist es notwendig, dass die Suchmaschine die besuchten Inhalte für den Fall eines nächsten Besuchs spidert.

Doch hinsichtlich des Datenschutzes als auch der Sicherheit allgemein kann diese Praxis problematisch sein. Unangenehm wäre es beispielsweise schon, wenn so absichtlich nicht verlinkte Dokumente, die ebenso absichtlich nicht durch den Robots.txt geschützt werden, in den Google-Index wandern würden.

Andererseits kann man Opera auf diesem Weg natürlich auch zu einem wichtigen Tool für die Suchmaschinen-Optimierung machen. Wer eigene Inhalte im Index der Suchmaschine nicht findet (Testbeispiel: "site:www.intern.de -gafdrdefsbv"), kann durch Opera gewissermaßen die Aufnahme erzwingen.
Wenn das wirklich stimmt, steig ich doch um auf Opera... damit könnte man dann doch ganz schnell ne Menge Seiten in den Index bekommen.

Verfasst:
von

Verfasst: 26.09.2003, 14:52
von viggen
da kommt doch der Mediapartner Googlebot, der hat ja nichts mit dem Index zu tun so viel ich weis

Verfasst: 26.09.2003, 14:57
von Southmedia
Keine Ahnung, mit den Bots an sich kenne ICH mich leider nicht so aus. Drum post ich das ganze ja hier...

Verfasst:
von
Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Verfasst: 26.09.2003, 19:36
von SISTRIX
Habe das mal ausprobiert. Der Bot nennt sich Mediapartners-Google/2.1 (+https://www.googlebot.com/bot.html) und ist recht schnell da:
https://www.sistrix.com/news/archives/9 ... lebot.html

Gruss Johannes

Verfasst: 26.09.2003, 19:37
von viggen
yup, hat leider nichts mit dem normalem Googlebot zu tun, sonst wäre es ja zu einfach :P

Verfasst: 26.09.2003, 19:52
von SISTRIX
Der Host ist auf jeden Fall der gleiche wie beim normalen Googlebot. Morgen/übermorgen werde ich es wissen ;)

Verfasst: 26.09.2003, 19:54
von Southmedia
Ich habe die Herren von intern.de einmal angemailt, mal schauen ob eine Reaktion kommt...
(Habe einen Hinweis auf diesen Thread und Sistrix' Blogeintrag reingepackt)

Verfasst: 26.09.2003, 19:59
von viggen
ok, super, dann klären wir das für die Leser dort gerne auf.

Verfasst: 27.09.2003, 17:17
von Southmedia
Ich hab Antwort von Wolfgang Bleh (Intern.de) bekommen. Ich erlaube mir hier seine Email teilweise zu zitieren:
Sorry, ich weiss, dass es sehr schwer ist, im Google-Umfeld etwas
zu sagen. Wahrscheinlich ist Ihnen auch bekannt, dass aehnliche
Sachen schon im Umfeld des Tool-Bar behauptet und angeblich sogar
bewiesen wurden, aber Google so etwas immer von sich weist. Ich
werde aber nicht an einem Beitrag, den ich mit echten Experten
besprochen habe, herumschrauben, nur weil man mir zwei
URLs genannt hat, unter denen keine greifbaren Informationen
zu finden sind. Ich bitte also um etwas mehr Infos, Belege.
Also liegt es nun an uns für greifbare Informationen zu sorgen, gerade Sistrix hat es ja ausprobiert, ein Bericht wäre deshalb nicht schlecht hier.


Ist der Intern-Artikel noch anderswo aufgegriffen und diskutiert worden?

Verfasst: 27.09.2003, 17:27
von SISTRIX
Ich habe gestern mit dem Opera ein paar URLs besucht, die definitiv nicht im Googleindex sind. Kurz danach (10-15Minuten) kam ein Googlebot mit den bekannten Hosts (crawlerXX.googlebot.com) aber mit einem anderen UserAgent (Mediapartners-Google/2.1 (+https://www.googlebot.com/bot.html)). Bis heute sind diese Seiten nicht im Googleindex erschienen, für die Adwords wird der Content der Seiten allerdings benutzt um "relevante" Ads einblenden zu können. Es ist denke ich zu früh um sagen zu können ob die Seiten im Index auftauchen aber ich gehe derzeit davon aus, dass Google einen getrennten Index für die Adwords hat und somit die bei intern.de beschriebene Situation nicht "gefährlich" ist.

Verfasst: 27.09.2003, 17:38
von viggen
Was soll ich gross sagen,
Jedesmal wenn eine Seite mit Adsense aufgerufen wird, kommt (falls Google die Seite noch nicht im Index hat der Mediapartnerbot.

Wenn man das verhindern will einfach

User-agent: Mediapartners-Google*
Disallow: /

in die robots.txt

https://www.google.com/adsense/faq#basics

regards
viggen

Verfasst: 27.09.2003, 18:04
von viggen
Ich habe eine Test Seite seit April, hundterte male mit Toolbar besucht, mit Opera Browser (seit es ihn gibt) Mediapartner Bot war seit Mai dort und und siehe da noch immer grauer Balken.

Keine Abkürzung beim Anmelden ausser guten Links.

Verfasst: 27.09.2003, 20:04
von Southmedia
Auf Intern.de gibt es ein Update des Artikels: https://intern.de/news/4808.html
Um Missverständnissen vorzubeugen: Die oben geschilderte Feststellung ist _kein_ Beweis für die Aufnahme einer bestimmten Seite in den Google-Index, wenn man die neue Opera-Version in Verbindung mit der Textwerbung Googles verwendet. Das will der Text nicht sein und kann es auch nicht sein, denn das wäre - wenn überhaupt - frühestens nach dem nächsten Update des Google-Index feststellbar.

Zwei Leser hatten dies aber so interpretiert und darauf hingewiesen, dass der Googlebot in diesem Fall eine anderen User Agent (Mediapartners-Google/2.1) angibt. Gleichzeitig wurde dann von einem der Leser behauptet, dass 1.) Google die Daten des Mediapartner-Bots nicht in den Google-Index aufnimmt, und dass 2.) der Google-Toolbar sehr wohl diese Aufgabe erfüllt. Letzteres soll unter Verweis auf frühere Diskussionen im Webmasterforum sogar als bewiesen gelten.

Der in dem fraglichen Forum mitdiskutierende "GoogleGuy", von dem behauptet wird, er sei ein Mitarbeiter der Suchmaschine, bestreitet jedenfalls in beiden Fällen, dass Google die Daten in seinen Index aufnimmt. Sowohl, wenn es um den Toolbar geht, als auch wenn die Rede vom Mediapartner-Bot ist.

Wirklich glaubwürdige Beweise gibt es allerdings weder für das eine noch das andere. Und auch nicht dafür, dass "GoogleGuy" wirklich ein Google-Mitarbeiter ist. Es würde für den Geschäftssinn des Betreibers des kostenpflichtigen Forums sprechen, einen sporadisch antwortenden "GoogleGuy" zu erfinden.

Doch unbeweisbare Vermutungen und Behauptungen sind eine allgemeine Erscheinung im Umfeld der SEO-Szene (Search Engine Optimization). Dort erinnert vieles an die Experimente, die der Psychologe Skinner einst mit seinen Tauben unternahm. Diese Vögel erhielten beispielsweise in einer bestimmten Taktfrequenz Futterkörne und verbanden das mangels anderer Reize mit der gerade vollzogenen Bewegung. Die Tauben wurden schließlich "abergläubisch" und drehten sich beispielsweise ständig im Kreis, oder streckten fortwährend einen Flügel aus, weil sie glaubten, dies bewirke das Herabfallen von Futter.

Einen ähnlichen Eindruck erhält man gelegentlich, wenn man die in der Szene gehandelten Geheimrezepte verfolgt. Mangels wirklich nützlicher Informationen, wie man Google überlisten kann, werden manchmal die merkwürdigsten Methoden genutzt.

Vielleicht wird jetzt auch dieser Beitrag oben dazu beitragen, dass nun nicht mehr nur der Google-Toolbar benutzt wird, um "Seiten in den Index zu pushen", sondern zusätzlich auch noch Opera 7.2.

Der Autor wäscht jedenfalls seine Hände in Unschuld und freut sich allenfalls, wenn dadurch der Browser-Markt wieder in Bewegung kommt.
Nette Antwort, vor allem den Seitenhieb gegen Googleguy fand ich sehr amüsant. Daumen hoch für Intern.de.

Kann ich den Opera ja wieder löschen ;)

Verfasst: 27.09.2003, 20:17
von viggen
Hallo Southmedia, danke das du uns am laufenden hälst.

Das gesamte Forum wo Googleguy posted ist nicht kostenpflichtig, sondern nur eine Sektion.

Von einem Geheimrezept kann man wohl kaum sprechen, bau dir eine neue, Google nicht bekannte Seite ohne links, und besuche sie mit toolbar und opera browser. Der mediapartnerbot wird kommen um die Ads anzuzeigen und das wars oder auch nicht, jenachdem ob es stimmt oder nicht. Ganz simple und einfach, keine Zauberei und kein Geheimrezept, jeder kann das einfach nachvollziehen.

Freuen tut sich aber nur Google, weil die mehr Ads zeigen können. ;)

Verfasst: 27.09.2003, 20:25
von Southmedia
Ich finde es trotzdem bemerkenswert dass intern.de, die ja "nur" ein Newsdienst sind, sich so sehr um die Anliegen der Leser und ihre Feedbackmails kümmert.
Ohne Intern.de wäre ich niemals auf die Idee gekommen das zu testen, und viele andere wohl auch nicht.

Auch wenn die Seiten nicht in den Index kommen sehe ich da einige Anwendungsgebiete für das verhalten der Mediabots. Ich merks mir auf jeden Fall.