Teergrube für böse Bots?

Beitrag von **Kristian** » 04.10.2005, 20:32

Hallo
Sagen wir mal rein theoretisch ich würde die Idee der Teergrube (googlen / Danke Lutz) aufgreifen wollen.
Sagen wir weiter ich würde die bösen Bots in der robots.txt sperren, die würden das natürlich ignorieren, ich würde mich daraufhin mit dem Einsperren des Bots bedanken, sagen wir mal für 10 Minuten.
Könnte man mir böse sein?
Jo die letzte Frage war rhetorisch, aber was könnte dabei rechtlich rauskommen?
Ich persönlich denke mir dazu, dass die Executive, der Teergrubenbetreiber, sprich ich, nicht auch die Legislative sein kann, was meint Ihr?
Hat hier jemand Mumm und Lust die Legislative für solche Fälle zu stellen.
Ev. kann man nen Verein davon machen?
TIA & Gruss
Kristian

von **Anzeige von ABAKUS** »

Beitrag von **rechtlegal** » 04.10.2005, 21:03

Kristian hat geschrieben:... ich würde mich daraufhin mit dem Einsperren des Bots bedanken, sagen wir mal für 10 Minuten.

Wie geht denn das???

Kristian hat geschrieben:... dass die Executive, der Teergrubenbetreiber, sprich ich ...

Hast Dir ja 'nen schönen Job ausgesucht. Aber gut, in Zeiten von Harz IV.

Beitrag von **Kristian** » 04.10.2005, 21:26

Hallo
Kein wirkliches Problem das Einsperren, ich denke mal es wir jeder verstehen, wenn ich mit dem Code nicht hausieren gehe aber in Perl sind das nur ein paar Zeilen.
Harz IV? Lächel, ich denke mehr das wird mich einen kompletten Server kosten.
Selbst wenn ich das Script auf Ram optimiere, CPU-Last gibt es nicht, kann die Zahl der Insassen ja recht heftig werden.
Ev. wird man, wie im echten Leben, die Zeit der Strafe an den Platz in der Grube anpassen müssen.
Gruss Kristian

Beitrag von **800XE** » 04.10.2005, 21:28

rechtlegal hat geschrieben:
Kristian hat geschrieben:... ich würde mich daraufhin mit dem Einsperren des Bots bedanken, sagen wir mal für 10 Minuten.
Wie geht denn das???

so pimaldaume

for 1 to 600
{
sleep(1); // eine secunde warten
echo("Hallo!");
}

da würde man jetzt verteilt auf 10 Minuten = 600 secunden
600 mal "Hallo" senden

fals der Server nicht abbricht

Aber im Zeitalter von Multitasking, bremmst man den Bot damit nicht wirklich
wärend man nicht sendet, verbraucht er keine Rechenzeit,
also haben seine BotKollegen mehr Rechenzeit und können mehr spidern
alternativ könnte man Datenmüll senden um ihn zu beschäftigen, was aber den eigenen Traffic natürlich erhöt ..... und das will man vielleicht nicht

Beitrag von **Kristian** » 04.10.2005, 21:51

Hallo
Jo, in PHP würde man es wohl in der Art schreiben.
Bei der Frage nach der Rechenzeit und den Kollegen des Bots denke ich, es werden nicht unbegrenzt viele gestartet, das geht schon aus Ram-Gründen nicht.
Ich kann den bösen Bot mit Sicherheit nicht komplett töten, zumindest nicht immer, aber, ich kann ihn immer bremsen.
Viele Kontentklauer und dumme Pseudo-Suchmaschinenbetreiber arbeiten mit CGI-Scripts. Da wird es mit Sicherheit gelingen den Leuten die Beachtung der robots.txt beizubringen.
Gruss Kristian

Beitrag von **hard_pollux** » 05.10.2005, 02:57

Kristian,

nach meinem Rechtsverständnis hätte ich keine Bedenken, die Mißachtung von vituellen Hausverboten virtuell zu ahnden.
Und wer seinen Bot mangelhaft konstruiert und auch noch unbeaufsichtigt streunen läßt, trägt m.E. auch alle Risiken seines Handelns selbst.

Würde mich aber nicht überraschen, wenn jemand eine für mich unhaltbare gegenteilige Ansicht vertritt.

Leider bin ich aber nicht "der Networker" um den gesamten technischen Ablauf zu verstehen. Vielleicht kannst Du mir da via PN etwas unter die "Arme" greifen. Hätte da auch Interesse am Code, auch via Email.

Gruß
HardPollux

Beitrag von **hard_pollux** » 05.10.2005, 03:22

rechtlegal,

Du als ein der Gerechtigkeit dienender Mensch solltest es eigentlich positiv bewerten, wenn befähigte Menschen sich darüber Gedanken machen, wie man rechtlich zumindest bedenklichen Methoden des Gelderwerbs den "Hahn" abdreht.

Mir persönlich sind Spambots, Emailharvester und wie diese unerwünschten Gaste auch immer heißen mögen, ein absoluter "Dorn im Auge".

Viele Deiner Berufskollegen sehen das ebenso, und im Bereich des Mailspams ist hier mittlerweile in der Öffentlichkeit eine derart hohe Sensibilität erreicht worden, daß man jedem auf Deutschem Boden vor solchen Mätzchen nur warnen kann - aber die Dummen sterben ja bekanntermaßen nicht aus.

Würdest Du einen Mailspammer vor Gericht vertreten, oder das Mandat wegen vielleicht zu vermutender Aussichtslosigkeit ablehnen?
Den Spruch: "Ich bitte um ein mildes Urteil", könnte man einem Mailspammer doch schon selbst zumuten, oder?
Bei Unmut ziehe ich meine Frage natürlich zurück.

Gruß
HardPollux

Beitrag von **Kristian** » 05.10.2005, 18:41

Hallo

hard_pollux hat geschrieben: Leider bin ich aber nicht "der Networker" um den gesamten technischen Ablauf zu verstehen. Vielleicht kannst Du mir da via PN etwas unter die "Arme" greifen. Hätte da auch Interesse am Code, auch via Email.

Rein theoretisch könnte man es so machen:

Code: Alles auswählen

#!/usr/bin/perl
$|++;
use strict;
use warnings;
use diagnostics;
use CGI&#58;&#58;Carp qw&#40;fatalsToBrowser&#41;;
use CGI;
use Fcntl qw&#40;&#58;flock&#41;;
use File&#58;&#58;Spec;

my $max_bots    = 10;   # maximale Anzahl der eingesperrten Bots
my $max_time    = 600;  # Einsperren fuer X Sekunden
my $next_grube  = '';   # naechste Grube wenn die eigene voll ist
                        # z.B. 'http&#58;//www.teergrubing.de/cgi-bin/teergrubing.cgi?domain='
my $shrink_time = 'on'; # on / off reduziert die $max_time bei steigender Bot-Zahl
my $log_file    = File&#58;&#58;Spec->catfile&#40;$ENV&#123;'DOCUMENT_ROOT'&#125;,'teergrube','log.txt'&#41;;   # Log-File
my $counter     = File&#58;&#58;Spec->catfile&#40;$ENV&#123;'DOCUMENT_ROOT'&#125;,'teergrube','count.txt'&#41;; # Counter fuer Insassen

my&#40;$bot_count,$sleep_count&#41;;

sub _log_it&#40;$&#41;;
sub _count_bot&#40;$&#41;;
my $emacs_need_this = &#123;&#125;;

$SIG&#123;'USR1'&#125; = \&sig_handler&#40;&#41;;
$SIG&#123;'TERM'&#125; = \&sig_handler&#40;&#41;;
$SIG&#123;'PIPE'&#125; = 'IGNORE';

my $query  = new CGI;
my $domain = $query->param&#40;'domain'&#41;;

_log_it&#40;"Catched BadBot $ENV&#123;'REMOTE_ADDR'&#125; / $ENV&#123;'HTTP_USER_AGENT'&#125; from $domain at " . scalar&#40;localtime&#40;&#41;&#41; . "\n"&#41;;
$bot_count = _count_bot&#40;1&#41;;

if&#40;$shrink_time eq 'on'&#41;&#123;
    $max_time  -= &#40;&#40;$max_time / $max_bots&#41; * &#40;$bot_count - 1&#41;&#41;;
&#125;

if&#40;$bot_count <= $max_bots&#41;&#123;
    print $query->header&#40;&#41;;
    print $query->start_html&#40;-title => 'Teergrube'&#41;;
    $sleep_count = 0;
    while&#40;$sleep_count < $max_time&#41;&#123;
	last unless&#40;print "       \n"&#41;;
	sleep 1;
	$sleep_count++;
    &#125;
    print $query->end_html&#40;&#41;;
&#125;else&#123;
    if&#40;length&#40;$next_grube&#41;&#41;&#123;
	print $query->redirect&#40;'-url' => $next_grube . $domain&#41;;
    &#125;else&#123;
	print $query->redirect&#40;'-url' => 'http&#58;//' . $ENV&#123;'REMOTE_ADDR'&#125;&#41;;
    &#125;
&#125;


END&#123;
    $bot_count = _count_bot&#40;-1&#41;;
    _log_it&#40;"Lost BadBot $ENV&#123;'REMOTE_ADDR'&#125; / $ENV&#123;'HTTP_USER_AGENT'&#125; from $domain at " . scalar&#40;localtime&#40;&#41;&#41; . "\n"&#41;;
&#125;
sub _log_it&#40;$&#41;&#123;
    my $text = shift;
    open&#40;LOG, ">> $log_file"&#41; or die&#40;"open&#40;LOG, >> $log_file&#41; failed $!"&#41;;
    flock&#40;LOG, LOCK_EX&#41;;
    print LOG $text;
    close&#40;LOG&#41; or die&#40;"close&#40;LOG&#41; failed $!"&#41;;
    return;
&#125;
sub _count_bot&#40;$&#41;&#123;
    my $value = shift;
    open&#40;CNT, "+>> $counter"&#41; or die&#40;"open&#40;CNT, >> $counter&#41; failed $!"&#41;;
    flock&#40;CNT, LOCK_EX&#41;;
    seek&#40;CNT,0,0&#41;;
    my $is_count = <CNT> || 0;
    $is_count += $value;
    chomp&#40;$is_count&#41;;
    seek&#40;CNT,0,0&#41;;
    truncate&#40;CNT,0&#41;;
    print CNT $is_count . "\n";
    close&#40;CNT&#41; or die&#40;"close&#40;CNT&#41; failed $!"&#41;;
    return $is_count;
&#125;
sub sig_handler&#40;&#41;&#123;
    return unless&#40;defined $bot_count&#41;;
    warn 'SIGNAL received at ' . scalar&#40;localtime&#41;;
    $bot_count = _count_bot&#40;-1&#41;;
    _log_it&#40;"Lost BadBot from $ENV&#123;'REMOTE_ADDR'&#125; at " . scalar&#40;localtime&#40;&#41;&#41; . "\n"&#41;;
    exit&#40;&#41;;
&#125;

__END__

Braucht einer ne Installationsanleitung oder ist das klar?
Bei

Code: Alles auswählen

$next_grube  = '';

wäre ev.

Code: Alles auswählen

$next_grube = 'http&#58;//www.teergrubing.de/';

eine gute Idee.

In der .htaccess, Beispiele gibt es hier im Forum genug, ersetzt man die Zeile

Code: Alles auswählen

RewriteRule ^.* - &#91;F&#93;

durch

Code: Alles auswählen

RewriteRule ^.*	/cgi-bin/scriptname.cgi?domain=diese.domain.de	   &#91;L&#93;

oder

Code: Alles auswählen

RewriteRule ^.*	http&#58;//www.teergrubing.de/www.domain.de/   &#91;R,L&#93;

falls man selbst nicht teeren will.

Letzteres gilt vorläufig in der Testphase.

Gruss Kristian

Beitrag von **Chris2005** » 05.10.2005, 20:05

Braucht einer ne Installationsanleitung oder ist das klar?

Waere Dir dankbar, wenn Du kurz ein paar Worte dazu schreiben koenntest.

Gruss
Chris

Beitrag von **RA Dr. Bahr** » 05.10.2005, 21:23

Guten Tag!

Kristian hat geschrieben:Hallo
Sagen wir mal rein theoretisch ich würde die Idee der Teergrube (googlen / Danke Lutz) aufgreifen wollen.

Die Idee ist interessant. ME. bringt das aber nur etwas, wenn die Breite der User so was macht, andernfalls ringt das dem Bot noch nicht mal ein müdes Lächeln an. Und außerdem kann der Bot das Ganze bei entsprechend intelligenter Programmierung problemlos unterlaufen bzw. vermeiden.

Vom Ansatz her erinnert mich das an DDoS-/wget-Attacken gegenüber Spammer-Servern.

Juristisch könnte man das Ganze als Notwehr (§ 224 BGB) einstufen, nämlich als Verteidigung der ungewollten Webseiten-Indizierung. Das wäre dann legal.

Aber: § 226 BGB bestimmt ein ausdrückliches Schikaneverbot:

"Die Ausübung eines Rechts ist unzulässig, wenn sie nur den Zweck haben kann, einem anderen Schaden zuzufügen."

Alles Gute

Martin Bahr

Beitrag von **tron** » 05.10.2005, 22:00

danke dr. bahr, ich denke die § sind genau passend

notwehr besteht also nur bei einem "rechtwidrigen Angriff", sehr fraglich ob eine ungewollte website indizierung ueberhaupt erstmal gegen rechte verstoesst und ob man das als angriff zaehlen kann?

hier trifft mMn eher § 226 BGB zu. ein einfacher 403 "forbidden" reicht doch um den angriff abzuwehren/abzuwenden.

also, sollte das indizieren einer website gegen den willen des inhabers rechtswidrig sein, so faellt das senden eines "falschen" headers unter § 224 BGB absatz 2 (notwehr).

den "angreifer" in eine "teergrube" zu schicken ist nicht notwendig um den "angriff" abzuwenden und damit reine schikane (keine notwehr) -> nicht legal.

und wie dr. bahr schon sagt, wird das kaum einen bot beeindrucken, solange es nur wenige webmaster so handhaben.

so das waren meine gedankengaenge zum thema, ausdruecklich keine rechtsberatung oder der gleichen

Beitrag von **Kristian** » 06.10.2005, 00:21

Hallo
Vorweg, wir sind jetzt leicht OT in diesem Forum. Ev. mag das einer der Mods verschieben?
OK.
Wie installiert man ein Perl-Script?
Grundvorraussetzung für dieses Script ist ein *nix-System mit eigenem cgi-bin oder dem Recht CGI-Scripte auszuführen. mod_rewrite ist absolut notwendig, ohne geht es nicht!
Man kopiert das Script per Drag & Drop in eine Datei auf seiner Festplatte. Auf einer (Win)Dose würde notepad zum Öffnen/Erstellen der neuen Datei ausreichen.
Man speichert die Datei unter einem Namen seiner Wahl. Die Dateiendung muss je nach nach Server, wo es nachher laufen soll, ".cgi" oder ",pl" sein.
Hinweis: notepad speichert normalerweise ".txt" Um das zu umgehen setzt man den Dateinamen in Anführungsstriche " dann klappt's auch mit der Dose...
Man überträgt das Script per FTP auf seinen Webspace. Wenn es dort schon ein echtes cgi-bin gibt, nimmt man das, ansonsten legt man sich selbst eines an.
Beim Aufladen beachtet man, dass der ASCII / TEXT-Modus aktiviert ist.
Man macht das Script ausführbar. chmod 0755 bzw. Markieren => rechte Maustaste => Dateirechte. => Executable / Ausführbar oder wie immenr es mit dem FTP-Prog heisst / geht.
Man benötigt in seinem DOCUMENT_ROOT, das ist da wo die index.html liegt, ein Verzeichnis / Ordner "teergrube", da liegt nacher das Log-File und da werden inhaftierte Bots gezählt.
Zu diesem Zeitpunkt kann man sein Script erstmalig aufrufen.
Wenn es hier Fehlermeldungen gibt:
a.) "Error 500" dann hat man Aufladen oder Ausführbarmachen etwas falsch gemacht.
b.) "Permission denied", dann muss man dem Vezeichnis / Ordner "teergrube" die Rechte 0777 geben und sollte die Dateien "log.txt" und "count.txt" in diesem Verzeichnis selber anlegen und mit den Rechten 0666 versehen.
Im Betrieb wird das Script via mod_rewrite aus der .htaccess angesteuert.
Alle bösen Bots, die man vorher gesperrt hat (403), leitet man auf das Script um.
In /teergrube/log.txt kann man dann später den Erfolg bestaunen.
Gruss Kristian

Beitrag von **Kristian** » 06.10.2005, 00:41

Hallo

@Dr. Bahr
Ich stimme voll und ganz zu, es macht nur Sinn, wenn sich viele Leute daran beteiligen.
Die Option

Code: Alles auswählen

$next_grube  = '';   # naechste Grube wenn die eigene voll ist

zielt in diese Richtung, man kann mit vertretbare Serverlast für den einzelnen ein ganzes Netzwerk von Teergrube einrichten oder zumindest die Last auf mehrere Server verteilen.
Ein intelligent geschriebener Bot ist wohl gegen ein Teergrube imun, allerdings kann der dann wohl auch eine robots.txt lesen und beachten.

@Alle
Ich möchte nochmal darauf hinweisen, dass nur Bots in die Grube wandern sollten, die auch in der robots.txt stehen.
Falls man jemanden wegsperrt, ohne ihm vorher den Zugriff verboten zu haben ist es in der Tat reine Schikane.
Für die Kameraden die die robots.txt sowieso nicht lesen und auch keinen Bot oder gar eine Suchmaschine betreiben, sondern den Kontent für andere Zwecke brauchen, sei es die direkte Weitergabe an die eigenen User oder die SuMa, die gerade bei denen ist oder auch anderes, ist die Sache bestimmt unschön, da wird es noch einige böse Stimmen geben.

Gruss Kristian

Beitrag von **rechtlegal** » 06.10.2005, 06:28

Kristian hat geschrieben:Hallo
Vorweg, wir sind jetzt leicht OT in diesem Forum. Ev. mag das einer der Mods verschieben?

Leicht OT? Uneingeschränkte Zustimmung!

Ich sehe schon vor meinem geistigen Auge letztinstanzlich vor dem Jüngsten Gericht die Herren Rechtsanwälte Dr. A und Dr. B. über Notwehr (vielleicht auch Nothilfe, wenn vom SEO für Kunden erstellt) und Schikane unter Vorlage anerkannter Sachverständigen-Gutachten disputieren, die Pro-Teergruben-Lobby parallel hierzu im Internet Flugzettel für ihre Initiative verteilen, die Betroffenen Teergruben-Server installieren und konfigurieren ...

Beitrag von **Chris2005** » 06.10.2005, 14:23

@Kristian: Danke fuer die ausfuerhlichen Erlaueterungen. Ich muss mir das am Wochenende mal etwas genauer angucken.