Eine aktuelle Zusammenstellung von Bot-Ungeziefer ...

mario,

... so fern es anständige unmanpulierte sind

bislang bestand kein Bedarf für Bots mit Referrer, und ich weiß auch nicht, wie hoch der Aufwand für eine solche Nachrüstung ist, da eine htaccess immer nur für das jeweilige Verzeichnis und die darunterliegenden gilt, wäre bei Bedarf ein Nachziehen meinerseits ein Klax.
Also "htaccess" ist ein ganz spannendes Thema, und wenn ich etwas mehr Zeit habe, werde ich mich damit mal eingehend befassen.

... so ein "Bötchen=bot" läuft schnell mal als maskiertes Fräulein rum

Wenn er denn weiß, was er "anziehen muß".
Sicherliich ließe sich die "Kleiderordnung" für einzelne Verzeichnisse unterschiedlich gestalten. Also Möglichkeiten gibt es unendlich, wenn man sich mal mit der Materie befaßt, und ich denke, daß in der Zukunft kein Weg daran vorbeiführen wird, will man nicht überrannt werden.

Und die Gegenseite rüstet auf. Vor einigen Tagen erlangte ich einen zufälligen Einblick in die gewaltigen Erweiterungen und Zukäufe der Gegenseite, und ich dachte mir: "... was bin ich doch für ein "kleines Licht" auf diesem Gebiet".
Es hat mich aber dazu angespornt, selber aufzurüsten und zu erweitern.
40 (in Worten: vierzig) Domains reichen nicht aus, um wirkungsvolle Strategien dagegen aufzubauen.

Darüberhinaus mußte ich kürzlich feststellen, anhand eines nicht nachvollziehbaren Referrers, daß jemand versucht, einen meiner Satelliten bei Google "abzuschießen".
Ich selbst wäre von mir aus niemals zun Überlegungen in dieser Richtung gekommen, aber diese Begebenheit zwang mich zu entsprechenden Überlegungen und Tests - Ergebnis: Positiv.

Über diese Schiene ließen sich schlußendlich auch Maßnahmen kreieren, um denen beizukommen, welchen versuchen, sich über diesen Umweg:

<der sollte das vorsorglich nur über außereuropäische Server bewerkstelligen.
... und genau da liegt die Crux

etwaigen juristischen Schlägen zu entziehen.

Kleine Empfehlung an jene, deren Domains bei Google einem "plötzlichen Kindstod" (Man möge mir die Verwendung dieses Begriffes nachsehen, es handelt sich keineswegs um eine Respeklosigkeit gegenüber Angehörigen, welche von diesem Schiksal betroffen sind. Der Begriff wird hier lediglich in Anlehnung an ein unbegreifliches Ereignis benutzt!) anheim fielen: Durchforstet mal eure Logs auf Komischkeiten ggf. das gesamte Umfeld.

Gruß
HardPollux

Hi HardPollux,

wie durchforstet du deine Logs? Welches Programm verwendest du?

Muss man beim Apache irgendetwas besonderes einstellen, um detailliert genügende Logs zu bekommen? Machen verschiedene Logs nach Domain Sinn oder schafft das ein Programm selbst zu trennen?

Vielen Dank im Voraus.

Gruß,
Thomas

eigentlich müsste man die eigenen Logfiles durchsieben. Das Sieb wäre beispielsweise meine .htaccess. Alles was unten rauskommt könnte man in einer Whitelist freischalten. Aber allein das zusammentragen aller Logfiles bedeutet erheblicher Aufwand. Dann bleibe ich vorerst bei meiner Blacklist, dann ist das Sieb vorort. Die Serverbelastung bei 600 Zeilen spüre ich kaum...

Lutz-Development,

wie durchforstet du deine Logs? Welches Programm verwendest du?

ich muß zu meiner Schande gestehen, daß meine Präferenz: "stichprobenartig-manuell" ist.
Bei nicht erklärbaren Auffälligkeiten nutze ich einen PHP-Eigenbau, welcher seitenweise zusätzlich eingesetzt und täglich manuell überprüft wird.
Auch für Testzwecke nutze ich den, ist an Comfort nicht zu unterbieten.

Zum Überschlagen nutze ich die Stats mit Zusatztool von 1u1, kostet 5,-- im Monat - ob sich das aber lohnt, da habe ich so meine Zweifel.

Auf einigen Domains nutze ich einige unterschiedliche Tools aus der Freeware-Scene, welche aber ausschließlich auf eigenen Domains laufen.

Was ich da so empehlen kann, ist: www.stwc-counter.de - graphisch vielleicht nicht so toll, aber der Funktionsumfang ist ok, wenngleich auch noch verbesserungsfähig.

@mario,

Die Serverbelastung bei 600 Zeilen spüre ich kaum...

ich verrate Dir sicherlich kein Geheimnis, wenn ich Dir erzähle, daß das noch nicht das "Ende der Fahnenstange" ist. Und solange Google den Adsense-Mißbrauch nicht eindämmt, wird es hier weiter unkontrollierten Wildwuchs geben.

Gruß
HardPollux

Hier noch eine frisch gefundene Liste: https://www.pgts.com.au/pgtsj/pgtsj0208d.html

Wie gehaltvoll sie ist, habe ich nicht überprüft, da ich sowas nicht mehr benötige.

Gruß
HardPollux

hm.. Leute ohne Referrer aussperren ist gefährlich, da die Referrer im Browser oft von Personal (schwachsinnigen) Firewalls geblockt werden und von manchen Browser-Extensions.. allem in allem finde ich die Whitelist ne recht gute Idee, aber nichts für Seiten dies nicht wirklich verdient haben.

overflood,

Leute ohne Referrer aussperren ist gefährlich, ...

da ist was dran.

Mir geht es ja auch in der Hautsache darum, diese unerwünschten Bots auszusperren, und dies unter der Maßgabe, daß die .htaccess schlank und überschaubar bleibt - robots.txt ist da für mich kein Thema.

Interessanterweise habe ich heute tatsächlich einen Bot mit Referrer entdeckt - kaum zu glauben, aber wahr.
Nun könnte ich zwar t-online und AOL ausnehmen, aber dann habe ich diese Saugetools am Hals.
Eine optimale Lösung ist vielleicht noch etwas entfernt, aber ich arbeite daran.

Gruß
HardPollux

@bull

Robozilla/1.0 ausschliessen ist "tödlich", dann sind die Seiten weg im DMOZ-Directory !!!

1)
Mozilla/4.0 (compatible; MSIE 4.01; Windows NT) ist das ein Guter oder Böser?

2)
und der hier ist sicher kein Freund oder?
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.7. Gecko/20050511 Firefox/1.0.4

Bin aus aktuellem Anlass auf der Suche nach einer aktuellen .htaccess-Liste mit Bot-Ungeziefer. Verwende momentan die Liste von hard_pollux am Anfang dieses Threads, ist die noch einigermassen aktuell?

Danke