also slomo - ich weiß ja nicht was du an der Spider Trap auszusetzen hast ? Es ist ein Mittel gegen Spam wie auch Captchas. Auch Captchas kann man umgehen. Ergibst du dich dann und baust keine Captchas mehr ein. Und die Spider Trap ist an vielen Stellen viel mächtiger als du vielleicht glaubst. Sie wird auch von vielen als Antispam API genutzt.
Du sagst dass so wenige in die Falle gehen - Sieh es doch mal so - vielleicht halten sich jetzt auch mehr Crawler an die robots. Und wenn sich die Robots aus Angst vor der Spider Trap nun wirklich an die Regeln halten - hab ich die Möglichkeit alles auszuschließen was nicht irgendwo auftauchen soll - automatischer Bilderklau und Download Tools ala HTTrack wäre dann erstmal vom Tisch. Httrack hält sich z.B. schon an die robots.txt. Und aus dieser Idee heraus ist ja damals die Spider Trap entstanden. Und das die Installationen nicht alle in das Verzeichnis Spider-trap laufen sollten hab ich ja auch auf die Seite geschrieben.
zum Thema "Googlebot in der Falle" kann ich nur sagen:
Seit V.1.0 gibt es die Funktion auch Spider-Trap die IPs der Spambots zuzuschicken.
Ich hab da mittlerweile schon knapp 1000 Meldungen von über 80 Hosts. Ich bin ca. 600 davon per Hand durchgegangen und keine Einzige war bisher von Google.
Eine IP Whitelist ist schon in Arbeit - genauso wie eine Funktion (der Rumpf ist ja schon in der aktuellen Version) um die IPs wieder nach einem bestimmten Zeitraum freizugeben. Damit sind dynamische IPs nicht auf Dauer gesprerrt.
Allerdings ist mir da noch nichts passenderes eingefallen als das über Dienste wie cronjob.de oder so zu lösen. Über Hilfe und Ideen bin ich ja selber immer froh....
Auch das Captcha ist nicht optimal gelöst - aber 2/3 aller User laden sich den Quellcode runter um die Captcha Technik zu checken und ich hab keine Lust einen Captcha Dienst und Support aufzubauen.
Auch soll man komplette IP Blöcke (a,b oder c-class) sperren können um von vorne rein gleich Contentklau Hochburgen wie Korea,JP usw auszuschließen
Aber man darf nicht vergessen - Ich verdien und will ja auch nix für die Spider Trap. Kritik ist auch immer erwünscht aber einfach zu sagen dass die nix taugt bringt uns auch nicht weiter. Trotzdem denke ich das die Kombination aus BotTrap und SpiderTrap sehr wirkungsvoll ist.
Archiv
