nph-proxy.cgi owns YOU! Kann DC und Hijacking ausloesen

[SloMo]

> Was, wenn es der G-Bot über einen chineschen Proxy ist?

Wenn die Seite nicht existiert, und Dein Logger-Skript nur bei existenten Seiten eingebunden/aufgerufen wird, dann ist es ein Bug im Skript, und kein Googlebot.

[hard_pollux]

edit

[SloMo]

@SloMo,

eines ist klar, der G-bot ist mit falschen IPs unterwegs, wenn er über NPHs kommt.

Ich verstehe nicht, was das jetzt damit zu tun hat. Natürlich kommt der Googlebot (als Proxy-Benutzer) auch über die IPs des Proxies, und versucht sich dabei vielleicht auch mal an nicht (mehr) existenten Seiten.

Aber letzten Endes hakt die Geschichte an ganz anderer Stelle: denn keine Software kann Dein Skript dazu bringen, von Geisterhand auf nicht existenten Webseiten Daten zu loggen - es sei denn, es liegen gravierende Sicherheitslücken in Deiner Site und/oder Deinem Logger-Skript vor, und diese sind dem Angreifer gut genug bekannt, um daraus Nägel mit Köpfen zu machen. Dann allerdings stellt sich mir die Frage der Motivation, weil der Aufwand dafür beträchtlich wäre.

Nimm's bitte nicht persönlich, aber das sind IMHO sehr suspekte Behauptungen, die für mich an SciFi- und Verschwörungstheorien grenzen. Ein Bug in Deinem Skript ist einfach wahrscheinlicher.

[hard_pollux]

edit

[hard_pollux]

edit

[SloMo]

Naja, Du willst offenbar keine sachliche Diskussion, sondern bedienst nur die Gerüchteküche. Sonst hättest Du auch Bezug auf meine folgende Feststellung genommen: "Aber letzten Endes hakt die Geschichte an ganz anderer Stelle: denn keine Software kann Dein Skript dazu bringen, von Geisterhand auf nicht existenten Webseiten Daten zu loggen" - ergo: das Skript ist buggy.

Zu Deinem letzen Posting:

ich darf Dir anhand zweier Statistikeinträge die Verschwörungstheorie als Realität präsentieren:
Zuletzt || Kennung || Hostname || Aufrufe || BS || Browser ||Gekommen von
20 Mar, 19:25:44 || Deutschland || pd9exfc0f.dip.t-dialin.net || 4 || Windows 2000 || Netscape 7.1 || www.google.de
20 Mar, 19:33:52 || Deutschland || pd9exfc0f.dip.t-dialin.net || 2 || Windows 2000 || Explorer 6.0 || www.google.de

Da hat einer als Referer "www.google.de" übermittelt? Oder wie ermittelst Du Dein "gekommen von" Feld sonst? Wo ist die große Besonderheit? Referer und UAs kann inzwischen jeder mit einfachen FireFox-Plugins faken. Genau so könnte es natürlich auch ein Skriptchen sein, dafür gibt's auch fertige Klassen. Um das zu machen, braucht man heute nicht einmal mehr Talent. Es zeigt nur, dass jemand Deine Site zum Spielen benutzt hat.

Gruß, SloMo

[hard_pollux]

edit

[SloMo]

Das ist ganz normale Methode maligner Webproxies. Man füttert die Bots mit URL-Listen und hofft darauf, dass die ein oder andere schwache Site gehijackt wird.

Ich fände es interessanter, Details über die tatsächliche Schädigung herauszufinden. Wenn z.B. eine starke Seite (die wahrscheinlich nicht gehijackt werden kann) nun DC auf einem Proxy hat, schadet das dieser Site vielleicht auf anderem Wege? Ich denke dabei an so etwas wie eine Aufteilung der Linkpop zwischen Original und Kopie, oder Beeinträchtigung des Altersbonus oder anderer relevanter Rankingfaktoren.

[Kristian]

Hallo hard_pollux

> Ich denke, Kristian's Denkanstoß wird der Sache sehr nahe kommen,
> und ich werde das in den kommenden Tagen umfangreichen Tests unterziehen

Hmmm, dann habe ich mich zu vage ausgedrückt, meine Glaskugel ging aber gestern auch nicht richtig.

Heute sagt sie:
du machst in deiner .htaccess einen rewrite von /foo/bar.html auf index.php?foo=bar
diene Seiten sind also über beides aufrufbar.
index.php ist auch der DirectoryIndex sodass ich die Seite auch mit /?foo=bar aufrufen kann.

Wenn dem so ist und ich einen POST-REQUEST auf / mache mit den Parameter foo=bar steht das foo=bar nicht in deinen Logfiles.

Meine Glaskugel sagt, in dem Falle wo nichts im Log steht, da es ein POST-Request war, teilt dir das dein Statistik-Dingsda mit dem Wort Post mit.

Da braucht man aber nicht lange Testen, mach einfach einen Post und kontrolliere es.

Gruss
Kristian

[Kristian]

Hallo

Ich fände es interessanter, Details über die tatsächliche Schädigung herauszufinden. Wenn z.B. eine starke Seite (die wahrscheinlich nicht gehijackt werden kann) nun DC auf einem Proxy hat, schadet das dieser Site vielleicht auf anderem Wege? Ich denke dabei an so etwas wie eine Aufteilung der Linkpop zwischen Original und Kopie, oder Beeinträchtigung des Altersbonus oder anderer relevanter Rankingfaktoren.

Ich denke das kann man wirklich nur in Verbindung mit dem "Starkenverhältnis" der Seiten sehen.
Je stärker der HiJacker und je schwächer der Betroffene, desto größer der Schaden beim Betroffenen.
Je schwächer der HiJacker und je stärker der Betroffene, desto schädlicher für den Hijacker.

Die angedachte Aufteilung, wird auch im Verhältnis geschehen.
Schaden entsteht auf jeden Fall, aber z.B. für Webby nicht wirklich spürbar.
Da hilft nur sperren und schauen um wieviele Punkte es in den Serps raufgeht bzw. wie die Einnahmen sich steigern.

Man sollte die Burschen, also munter mit Google als Zielseite verlinken, dann verschinden die recht zügig.
Der Haken an einer solchen Linkliste muss aber auch klar sein, wenn die falschen Leute die in die Finger kriegen und google durch "Konkurrent" ersetzen....

Gruss
Kristian

[SloMo]

Man sollte die Burschen, also munter mit Google als Zielseite verlinken, dann verschinden die recht zügig.

Ihr könntet doch im Zuge der Bottrap eine Liste böser Proxies pflegen, und dazu aufrufen, diese mit Google als Ziel zu verlinken. Vielleicht auch als Webnapping-Angebot. Das würden bestimmt einige hier wahrnehmen. Ich wäre dabei.

PS: Das Problem dabei ist nur, dass die Webproxies die Gegenattacke für sich nutzen könnten, indem sie die Links per 301 auf andere Seiten umleiten. Ist also doch keine so gute Idee.

[Kristian]

Hallo

Ein weiteres Problem heisst Bad Neighborhood.

Gruss
Kristian

[SloMo]

Interessant ist auch der Fallback den ich gestern bei Webwarper gesehen habe. Wenn man als Content-Type text/xhtml angibt (ob sinnvoll oder nicht), macht der Proxy einen 302 auf die Originalseite. Zumindest bei meinen Experimenten war das so. Böswilliger geht es ja kaum noch.

[Kristian]

Hallo

> Wenn man als Content-Type text/xhtml angibt

Jugend forscht?
Ich hatte text/xml empfohlen, wobei auch da der Sinn sehr fraglich ist, solange man es nicht mit Firefox oder Opera 9.x, also echten XHTML-Browsern anschaut.
Aber, wenn man den Firefox nimmt, stellt man fest, das der auch Javascript einbindet, der im Quellltext angegeben wird.
Wenn man sich anschaut wie dieser Script dann aufgerufen wird (HTTP_REFERER) wird die Sache lohnend.
Da die NPH-Proxies in der CGI-Version meist den orginalen USER_AGENT durchreichen lohnt es sich IMHO abhängig vom UA eine IFRAME oder ein Object mit in die Seite zu basteln, welches die XML-Datei einbindet, welche ihrerseits das JavaScript einbindet.

Entweder man macht dann basierend auf den Logfiles weiter oder ersetzt den JS (mod_rewrite) durch ein Script welches die Dinge in Gang bringt.

Ich hoffe das war jetzt Substanz genug, mehr will ich eigentlich auch nicht sagen.

Gruss
Kristian

[SloMo]

Hilft halt alles nicht auf Dauer, weil die Proxy-Leutchen sich anpassen, sobald Projekte wie die BotTrap zu oft dazwischen funken.

Und wozu der Umweg über JS/Logs/mod_rewrite, wenn der UA doch direkt durchgereicht wird?