KFSW-Bot

[Kristian]

Hallo

Dies ist mein erster Beitrag in diesem Forum, also will ich die Gelegenheit nutzen, mich kurz vorzustellen.
Ich bin Programmierer, spezialisiert auf Internet und Internetdienstleistungen. Meine "Muttersprache" ist Perl.

Ich beschäftige mich derzeit wiedermal mit dem Thema Suchmaschine. OK, ich weiß wo der allgemeine Tenor hinläuft, denke aber, daß ich weiß was ich tue und auch eine Idee habe, wie ich das am Markt unterbringe.

Der Anlaß meines Postings:
In der kommenden Woche soll unser Bot einiges an Seiten fressen um die neuen Ideen, auch als Technologie oder Algorithmus betitelt, zu prüfen.

Ich gehe mal davon aus, daß der eine oder andere hier nicht wirklich Lust darauf hat.

4 Möglichkeiten kann ich anbieten:
1.) robots.txt User-Agent: KFSW-Bot
2.) Metatags noindex/ nofallow/ noarchive (letzteres machen wir eh nicht)
3.) IP's sperren:
217.160.108.142
212.227.64.121
212.227.166.182
4.) Kurze Nachricht an mich, wir pflegen eine URL-Liste mit Domains, die unser Bot nicht spidern darf.

Falls es durch den Bot irgendwelche Schwierigkeiten geben sollte, bin ich in Realtime erreichbar. PN / Mail / Telefon

Gruß
Kristian

[Chris2005]

Erstmal Lob für die Ankündigung.

Was sollt Ihr mit dem gecrawlten Content machen? Eine Pseudo-Suma mit Adsense aufbauen oder etwas Sinnvolles? Ich bin mir bewusst, dass Du Deine Geschäftsidee nicht in aller Breite darstellen kannst, aber vielleicht kannst Du noch ein paar zusätzliche Worte darüber verlieren.

Chris

[Kristian]

Hallo Chris

Beim Testlauf in der kommenden Woche geht es mir erstmal um die Funktion der Suma.
Deine "Befürchtung", daß der Kontent irgendwannmal in diversen Pseudo-Sumas auftaucht ist allerdings absolut gerechtfertigt und begründet.
Es wird so kommen, wenn auch nicht mit dem Kontent, den wir in der Testphase ziehen.
Ich habe nicht wirklich die Hoffnung, dass die Programme so gut arbeiten daß der Kontent dieses Tests wirklich verwertbar ist.

Gruß
Kristian

[Kristian]

Hallo
Seit etwa 15:00 Uhr hatte ich dann mal Zeit die Geschichte auf dem ersten Rechner zu installieren und den Betrieb aufzunehmen.
Es würde mich sicherer machen, wenn ich die eine oder andere Url hätte, wo ich in der robots.txt gesperrt bin.
Da gibt es hier bestimmt ein paar.
Wenn ihr mir da helfen wollt, bitte her mit den Urls, dann kann ich die "Gegenprobe" machen.
Jo, ggf. per PN, das ist klar

TIA & Gruß
Kristian

[Kristian]

Hallo
Nicht erschrecken
Ich will den Beitrag nur nochmal nach oben holen, ab morgen Mittag geht es in die nächste Runde.
Wer also seine robots.txt updaten willl, noch ist Zeit.
Gruss Kristian

[Kristian]

Hallo
Sorry, es soll echt kein Spam sein / werden.
Der Bot läuft jetzt ohne menschliche Kontrolle 24 Stunden am Tag.
Es wäre mir lieb, wenn ihr den Bot ggf. mit in die robots.txt aufnehmt oder aber die IP's sperrt. Das ist besser als wenn ich nachher auf "Bitte entfernen" reagieren muss.
Danke!
Gruss Kristian

[Kristian]

Hallo

Dies ist wohl mein letzte Beitrag in diesem Forum.
So wie ich mich ehrlich angemeldet und vorgestellt habe will ich mich auch ehrlich von euch verabschieden.
Ich habe hier in den letzten 2 Jahren sehr viel gelernt und dafür danke ich euch.

Viel Erfolg für die Zukunft und immer gute Serps!

Gruss
Kristian

[ole1210]

Warum verschwindest du? Und wohin? Neue Tätigkeiten?

Bei einem Forum sollte man niemals nie sagen. Du kommst bestimmt wieder!

[SloMo]

Niemand würde sich freiwillig von hier verabschieden und auf die kostbaren Infos verzichten. Es sei denn, er sitzt nun direkt an der Quelle. Ergo: seine Bewerbung bei Google wurde angenommen!