Gecloakte Seiten enttarnen - Surfen mit einer IP von Google

Beitrag von **Southmedia** » 28.12.2003, 02:49

Hi an alle,

ich denke wir sind schon alle mal über Seiten gestoplert bei denen wir uns das Ranking nicht verklären konnten, keine Links, kein passender Text, alles irgendwie seltsam. Eventuell ist die Beschreibung der Seite auch absolut nicht passend zum vorhandenen Text auf der Seite, keine Cacheversion. Oft kam dann der Schluss auf dass es sich um gecloakte Seiten handeln müssen.

Ich möchte hier nun 2 Möglichkeiten vorstellen die eventuell helfen können die Seiten zu enttarnen:

1. Faken des Useragents:

1.1. Man hat einen Browser bei dem man den Useragent einstellen kann. Dann gibt man dort einfach folgendes ein: "Googlebot/2.1 +https://www.googlebot.com/bot.html)" und surft damit über die Seiten

1.2. Schneller und ohne großes Umstellen geht es folgendermaßen: Einfach die URL der Seite an folgende URL anhängen:
"https://www.wannabrowser.com/index.html ... bLocation="
Einfach den Haken bei "Show HTTP Headers" wegmachen und auf "Load URL" klicken. Schon sieht man den Quelltext der Seite wenn der UserAgent der des Googlebots ist.

Um das ganze ein wenig einfacher zu machen habe ich dazu ein Bookmarklet gemacht, merh dazu am Ende des Postings. Nun aber zuerst zu

2. Surfen mit GoogleIP

Die GoogleLabs mit ihren verrückten aber auch klasse Suchtools kennen wir alle. Diese Genies haben ein Suchtool entwickelt mit dem man Seiten in einer Art Slideshow anzeigen lassen kann, dazu gehen die ganzen Aufrufe über einen Server von Google.
Und damit lässt sich die 2te Art des Cloakings aushebeln, nämlich IP-Cloaking.

Stellt man "https://216.239.37.92/gvps?vnum=1&url=" vor eine beliebige URL wird diese über einen Proxy von Google augerufen, man hat also eine IP von Google, bekommt damit auch den selben Inhalt wie der Googlebot ausgeliefert - die gecloakte Seite.

Anmerkung:
Beide Methoden sind natürlich nicht 100% zuverlässig, liegt daran dass manche Seiten nicht nach Useragents cloaken, andere IPs in der Cloakingliste haben, oder einfach noch ganz andere Sachen beachten. Aber das meiste sollte damit enttarnbar sein.

Bookmarklets:

Was Bookmarklets sind und was sie bringen kann man hier nachlesen: https://www.stichpunkt.de/bookmarklets/
Hier habe ich aber welche zu den oben beschriebenen Methoden zusammengestellt, machen das kopieren der URLs etc überflüssig:

Zu 1.1: Surfen als Googlebot

Code: Alles auswählen

javascript&#58;void&#40;location='http&#58;//www.wannabrowser.com/index.html?wbUserAgent=Googlebot/2.1%20&#40;+http&#58;//www.googlebot.com/bot.html&#41;&wbLocation='+escape&#40;location&#41;&#41;

Zu 2: Surfen mit GoogleIP

Code: Alles auswählen

javascript&#58;void&#40;location='http&#58;//216.239.37.92/gvps?vnum=1&url='+escape&#40;location&#41;&#41;

Leider kann ich diese Links hier nicht anklickbar machen.

Schlusswort:
Hoffe ich habt trotzdem ne Menge Spaß mit dem ganzen und lernt ne Menge aus den gecloakten Seiten - eventuell warum es besser wäre sauber zu optimieren. Danke für die Aufmerksamkeit.

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **Southmedia** » 28.12.2003, 05:14

Da ich es eben gebraucht habe noch ein kleiner Nachtrag.

Kombination:

Natürlich kann man diese beiden Methoden auch miteinander verknüpfen. Einfach bei wannabrowser.com nicht die direkte URL sondern die URL mit vorangestelltem Proxy von Google eingeben.

Das Bookmarklet sähe dann folgendermaßen aus:

Code: Alles auswählen

javascript&#58;void&#40;location='http&#58;//www.wannabrowser.com/index.html?wbUserAgent=Googlebot/2.1%20&#40;+http&#58;//www.googlebot.com/bot.html&#41;&wbLocation=http&#58;//216.239.37.92/gvps?vnum=1&url='+escape&#40;location&#41;&#41;

Der direkte Aufruf: "https://www.wannabrowser.com/index.html ... num=1&url="

Tipps:
Es nicht schlecht wenn man immer seinen Html-Editor die ganze Zeit nebenher geöffnet hat so dass man sich die Codewüsten die wannabrowser.com teilweise liefert auch wirklich anschauen kann.

Ankündigung:
Ich werde in den nächsten Tagen ein Tool/Script programmieren das diese beiden Sachen automatisch miteinander kombiniert und darüber hinaus noch verbessert, mir schwebt da die Möglichkeit vor auf den Seiten herumsurfen zu können was ja momentan nicht möglich ist. Kann allerdings (mal wieder) ein wenig dauern, aber ich machs. Versprochen.
Ne Datenbank mit gecloakten Seiten wäre doch mal was

Beitrag von **dirk** » 28.12.2003, 09:49

geile Sache !

Mal ne Frage : Macht sowas wirklich Sinn ???

https://216.239.37.92/gvps?vnum=1&url=h ... dienste.de

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Jörg** » 28.12.2003, 13:41

echt super die möglichkeit, ip-cloaking zu enttarnen

Southmedia hat geschrieben: Ne Datenbank mit gecloakten Seiten wäre doch mal was

und vielleicht ein wettbewerb: wer entdeckt die schönste cloakingseite?

Beitrag von **~bWM** » 28.12.2003, 14:10

@southmedia

Yes, der Google-Proxy ist genial!

Beitrag von **~bWM** » 28.12.2003, 14:27

~bWM hat geschrieben:@southmedia

Yes, der Google-Proxy ist genial!

Aber leider nicht perfekt:

Erstens ist die Adresse nicht im direkten Adressbereich der Crawler (sieht mir eher nach -va RZ aus), zweitens wird ein verätterischer HTTP-Header mitgesendet:

Code: Alles auswählen

HTTP_VIA&#58; HTTP/1.0 216.239.37.92, 1.1 proxy.google.com&#58;80 &#40;Squid/2.3.STABLE4&#41;

Ich denke wer IP-Cloaking betreibt wir auch in der Lage sein den Google-Proxy auszusperren.......

Beitrag von **Southmedia** » 28.12.2003, 15:38

Danke an alle für das Lob

~bWM hat geschrieben:Aber leider nicht perfekt:

Erstens ist die Adresse nicht im direkten Adressbereich der Crawler (sieht mir eher nach -va RZ aus), zweitens wird ein verätterischer HTTP-Header mitgesendet:
Code: Alles auswählen
HTTP_VIA&#58; HTTP/1.0 216.239.37.92, 1.1 proxy.google.com&#58;80 &#40;Squid/2.3.STABLE4&#41;
Ich denke wer IP-Cloaking betreibt wir auch in der Lage sein den Google-Proxy auszusperren...

Ich habe mich überhaupt schon gewundert wieso das funktioniert, wieso die Domain in den Cloakinglists drin steht. Aber die Ersteller von Cloakingprogrammen sehen sich wohl gezwungen diese IP auch mit hinein zu nehmen weil sie eben klar Google zuzuordnen ist und von heute auf morgen ein GoogleBot dahinter stecken könnte. Oder vielleicht liegt auf diesem Rechner einer der berühmten "versteckten" Bots die sich als Internetexplorer ausgeben!? Weiss ja niemand...

Der Header ist natürlich "verräterisch", wird aber von keinem (mir bekannten) Cloakingprogramm ausgewertet von dem her, egal

Auf vielen Seiten funktioniert es, das ist das wichtige in meinen Augen.

Beitrag von **~bWM** » 28.12.2003, 16:08

Southmedia hat geschrieben: Der Header ist natürlich "verräterisch", wird aber von keinem (mir bekannten) Cloakingprogramm ausgewertet von dem her, egal

Kommt bestimmt noch...

Southmedia hat geschrieben: Auf vielen Seiten funktioniert es, das ist das wichtige in meinen Augen.

Bei den meisten Seiten reicht es auch aus den User-Agent auf Googlebot zu stellen.... Und was das witzigste dran ist: Eine Menge Pseudo-GoogleBots tummeln sich auf allen möglichen Seiten um "Cloaking zu enttarnen", ohne zu Bedenken das der Googlebot weder CSS+Javascript lädt, geschweige den (temporäre) Cookies annimmt. Einfach nur trollig....

Beitrag von **Southmedia** » 28.12.2003, 16:24

~bWM hat geschrieben:Und was das witzigste dran ist: Eine Menge Pseudo-GoogleBots tummeln sich auf allen möglichen Seiten um "Cloaking zu enttarnen", ohne zu Bedenken das der Googlebot weder CSS+Javascript lädt, geschweige den (temporäre) Cookies annimmt. Einfach nur trollig....

Naja, das ist dann die andere Frage: Wie man die technischen Möglichkeiten denn ausnutzt. Und ob man noch ein wenig seine eigenen, von Mutter Natur gegebenen denkerischen Möglichkeiten (Intelligenz genannt...) einsetzt.

Beitrag von **dirk** » 28.12.2003, 16:42

Kleine Anmerkung :

was ich auch immer wieder gerne nutze, ist den guten, alten LYNX Browser.
Wer den nicht hat, kann ja mal hier gucken :

https://www.delorie.com/web/lynxview.html

Beitrag von **Webby** » 31.12.2003, 00:22

Es gibt auch eine nicht so bekannte tool die aber allerdings nur user agent cloaking entdeckt.

https://www.y2kinternet.com/spiderview.cfm
Mann muss aber erstmal als mitglied anmelden (kostenlos und man kriegt keine Spam davon.

Danke Southmedia für die hinweis

Mal sehen wie lange Google braucht diese proxy zu schliessen

Alan

Beitrag von **~bWM** » 31.12.2003, 13:19

Webby hat geschrieben: Mal sehen wie lange Google braucht diese proxy zu schliessen

Ich denke der Proxy ist beabsichtigt, sonst hätten sie ihn nicht so offen zugängich gemacht.

Beitrag von **Webby** » 31.12.2003, 15:54

Hmm, stimmt. Im gegenteil es kann sein das Google wolltest das webmaster cloaking entdecken. Obwohl die tue gar nichts mit Spam reports sowieso.

Beitrag von **narob** » 01.01.2004, 18:03

Hi,

naja so gut funktioniert das nicht bzw. bei sehr vielen Seiten nicht.

Ich kenne zig Seiten die auf Cloaking setzen, allerdings helfen da diese kleinen Tools nicht, schade.

Beitrag von **Southmedia** » 01.01.2004, 20:32

Naja, nichts ist vollkommen