Logfile-Auswertung: HEAD request

Beitrag von **laborix** » 15.09.2010, 12:26

Folgende Sitaution:

Alle 2-3 Minuten kommt ein HEAD Request in meinen Logifles vor. Die IP ist immer die gleiche, die Bytes immer auf 0. Teilweise wird noch ein Referrer mit überreicht, teilweise ohne. Wenn man die Referrer Adresse gegen prüft, kommt man zu 90% auf Herkunft China.

Zur Frage:
Was verbirgt sich hinter solch einem HEAD Request? Es muss doch irgendeinen Sinn haben, warum solche HEAD Requests abgeschickt werden. Mir geht es bei dieser Frage ausschließlich um einen für mich verständlichen Hintergrund. Google und Co erläutern immer nur IP-Sperre, ignorieren, dickes Fell anziehen und das es einfach so ist. Aber keine Erläuterung, welcher Sinn hinter solchen HEAD Requests steckt.

Danke

von **Anzeige von ABAKUS** »

Beitrag von **tmyp** » 15.09.2010, 13:14

Im wesentlichen ist ein HEAD-Request wie ein GET-Request, bei dem der Client dem Server aber gleich sagt: ich will keinen Content.
Möglicherweise wird das in Verbindung mit einem If-Modified-Since-Header gemacht, d.h. der client sagt "Gib mir mal den Status (aber nicht den Content!) von der URL, wenn sie seit XYZ verändert wurde". Ist auf jeden Fall erstmal nichts böses für dich.

Beitrag von **laborix** » 15.09.2010, 13:33

tmyp hat geschrieben:... Möglicherweise wird das in Verbindung mit einem If-Modified-Since-Header gemacht, d.h. der client sagt "Gib mir mal den Status (aber nicht den Content!) von der URL, wenn sie seit XYZ verändert wurde". ...

Warum ist dann im HEAD Request eine (Referrer) Website mit angegeben und warum wiederholt sich das alle paar Minuten von der gleichen IP?

von **Anzeige von ABAKUS** »

Beitrag von **tmyp** » 15.09.2010, 13:37

Dann ist's vielleicht einfach Logspam?
kA, warum sie da HEAD nutzen, vielleicht um Bandbreite zu sparen.

Beitrag von **Rizzo** » 15.09.2010, 14:52

Moin,

tmyp hat geschrieben:Ist auf jeden Fall erstmal nichts böses für dich.

Da geb ich ihm recht

Ich würde auch sagen das dürfte Logspam sein... oder jemand ist ganz verbissen darauf zu erfahren wann du deine Seite aktualisierst. Die Übertäter brauch nicht zwingend aus China kommen, nur weil die IP-Adresse damit übereinstimmt

Ich habe den Versuch mit dem HEAD-Request eben mal mit https://www.abakus-internet-marketing.de/ durchgeführt. (Sorry schonmal an die Administratoren)

- Benötigt werden -

ein kleines Skript
einen PC bzw. Proxy außerhalb von Deutschland.

- Vorgehen -

auf die Hauptseite von Abakus gehen
mit dem ausländlichen PC verbinden
Skript starten

- Ergebnis -

Zeitpunkt der letzten Änderung von https://www.abakus-internet-marketing.de/
und noch einwenig KrimsKrams über den Server - (was normal auch gesendet wird)

- Im Logfile des Servers -

es gibt ein HEAD-Request mehr
von der IP-Adresse: 208.53.142.39
(wen es Interessiert - Ort: Woodstock, Illinois, USA)
Host: www.abakus-internet-marketing.de/
Referer: https://www.abakus-internet-marketing.de/
mein persöhnlicher UserAgent (da ich jetzt zu faul war den wegzumachen)

Ob ich jetzt den Referer mit schicke oder nicht, ist hierbei meine Entscheidung. Ich würde darauf tippen das einige Studenten gerade kleine Suchmaschinen testen...

Hoffe die Moderatoren bzw. auch Administratoren verzeihen mir

Gruß Rizzo

Beitrag von **laborix** » 15.09.2010, 17:37

tmyp hat geschrieben:... Logspam?

Dieses Wort habe ich gesucht. Laut Erläuterung passt das bei meinen Logfiles, Danke

tmyp hat geschrieben:kA, warum sie da HEAD nutzen, vielleicht um Bandbreite zu sparen.

Werde mal weiter forschen, vielleicht finde ich was dazu.

Beitrag von **laborix** » 15.09.2010, 18:59

Rizzo hat geschrieben:... Die Übertäter brauch nicht zwingend aus China kommen, nur weil die IP-Adresse damit übereinstimmt

Habe nicht die IP genommen, sondern den Referrer.

Rizzo hat geschrieben:... Ob ich jetzt den Referer mit schicke oder nicht, ist hierbei meine Entscheidung. ...

Wenn ich geistig meine letzten 12 Wochen durchgehe, dann komme ich immer wieder auf Logspam. Ok, einige sind auch ohne Referrer, aber der Rest passt schon.

Sehr interessantes Thema

Beitrag von **tmyp** » 15.09.2010, 19:03

Die Frage wäre noch, ob sie es einfach pauschal probieren oder ob deine Loganalysie irgendwie (möglicherweise vom Provider) offen im Web landet. Das würde ich an deiner Steller noch prüfen.
Sonst schon OK, anhand des Referrers zu blocken, allerdings stellt sich die Frage: wieviel Zielgruppe hast Du in China. Warum nicht gleich ganz blocken? Russland dazu und zack, hast Du weniger Spambots und (etwas) weniger Exploitbots, die nach Fehlern auf deiner Seite suchen um deinen Server zu infizieren.

Beitrag von **seonewbie** » 15.09.2010, 19:54

So dann zieh ich mir mal den schwarzen Hut an;-)

In grauer SEO vorzeit gab es mal ein Blackhat Tool
das sich "PRStorm" nannte. Man konnte einstellen
wie oft das Programm eine Seite aufgerufen hat
und schon war es in den Top Ten deiner AWstats
Statistik ... was einen Backlink brachte und wie
es nocht für alles und jeden PR gab auch PageRank.
Diese Methode funktionierte so gut das e BH gab
die in ein paar Tagen auf Platz 1 Waren ohne
jemals manuel einen Backlink gesetzt zu haben.

Ich möchte das genaue wie man das Programm nutze
und wie man an die entsprechenden AwStats URLs
kam nicht ausführen um hie rniemand zu verleiten.
Das Tool ist wirklich evil und kann sehr schnell dazu
führen das einem der ISP kündigt!

Gruß

Micha

Beitrag von **laborix** » 15.09.2010, 20:02

tmyp hat geschrieben:Die Frage wäre noch, ob sie es einfach pauschal probieren oder ob deine Loganalysie irgendwie (möglicherweise vom Provider) offen im Web landet.

Pauschal, Logfile Analyse lokal mit eigenen PHP-Scripten und beim Provider (ungenaue Analyse) liegen die in einem Passwort geschützten Bereich.

tmyp hat geschrieben:... anhand des Referrers zu blocken, allerdings stellt sich die Frage: wieviel Zielgruppe hast Du in China. Warum nicht gleich ganz blocken? Russland dazu und zack, ...

Ich bin jetzt seit 7 Jahren online, irgendwo unter der ersten Million der weltweiten Websites (anscheinend 72 Mio. aktive Domains laut 2010er Statistiken) und hatte bisher eigentlich kaum Probleme. Seit Mitte 2010 nimmt das schlagartig zu, warum weiß ich nicht.

Blocken ist unützt, da meine Logfiles trotzdem gefüllt werden, wenn auch mit 403er, da ich keinen eigenen Server habe und diverse Apache Spielereien nicht nutzen kann. Mir ging es um den Hintergrund, was da passiert. Den Begriff Logspam kannte ich bis zu deinem Posting noch nicht. Vielen Dank hierfür

Beitrag von **Rizzo** » 17.09.2010, 06:18

Moin,

ich war gerade auf der suche nach einigen RewriteRules, als mir diese über den Weg gelaufen ist.

Code: Alles auswählen

RewriteCond %&#123;REQUEST_METHOD&#125; !^&#40;GET|PUT|POST&#41;
 # RewriteCond %&#123;HTTP_REFERER&#125; ^google          &#91;OR&#93;    
 # RewriteCond %&#123;HTTP_REFERER&#125; ^spider12341     &#91;OR&#93;
RewriteRule .* - &#91;F&#93;

Hiermit kann man die HEAD-Request aussperren. Als Antwort wird ein 403 Forbidden zurück geschickt.
Falls aber dennoch jemand von einer Adresse ein HEAD losschicken darf, kann man diese in den mittleren Zeile reinschreiben. Sprich eine Whitelist erstellen.

Gruß Rizzo