Suche "Foren-Spider"

[Exxa]

Grüße,
ich suche eine Spider, welche Foren auf Einträge bzw. Keywords durchsucht.
Und zwar so, dass ich die Foren alle in eine Liste in der Spider eintrage und die Spider durchsucht diese dann für mich und gibt mir zu jedem Treffer den entsprechenden link.
Das ganze brauche ich zu recherche Zwecken.

Da ich absolut keine Ahnung von Spiders habe und erstrecht noch keine benutzt habe, wäre erstmal die frage, ob es sowas überhaupt gibt/geben kann, vorallem als Freeware.

Es wäre nett wenn die Experten hier mir mal einige Takte dazu sagen könnten, auch wenn es nur allgemeine Infos sind, ich lerne gerne dazu.

Danke im Voraus;

mfG Exxa

[twiggie]

Ich war gestern wirklich keinen heben aber ich verstehe nur Bahnhof.
Twigg

[Exxa]

Ähm, was genau verstehhst du nicht?
Dass du kein Wort verstehst kann ich mir absolut nicht vorstellen und selbst nach mehrmaligem Durchlesen fällt mir nicht auf, was evtl. unverständlich ist.

[twiggie]

Ich verstehe es bis hier hin:
Ein Spider soll alle von dir in eine Liste eingetragenen Foren durchsuchen.

Danach steige ich aus - Begründung:
Wonach? Nach Zitat "Einträge bzw. Keywords"
Ähm, wie jetzt genau, was genau, Zweck? Recherche... Geht das genauer?
Ausgabe als Liste wonach sortiert, anhand welcher Datenbasis?

Lass es mich anders formulieren, deine Anfrage ist so ungenau, das man alles hinein interpretieren kann.

Wenn du den Zweck etwas besser erläuterst kann man sicherlich mit sinnvollen Ideen beisteuern.
Spider gibts in Hülle und Fülle. Wenn man keinen nach seinen eigenen Anforderungen programmieren möchte, dann läßt sich vielleicht einer den es schon gibt umstricken. Man muß nur vorher den geeignetsten finden, und da macht es einfach Sinn zu kapieren was hinterher genau als Resultat und auf welcher Basis von dem Tierchen erwartet wird.
Twigg

[Exxa]

Hm, das Ding ist halt, dass ich nicht soviel manuell machen will. Mit deiner Methode müsste ich immer wieder für jedes Forum die Daten neu eingeben, dass ist sehr unpraktisch.
Am besten wäre eine Spider, die zusätzlich noch einen Alert hätte, der mir sagt, wenn in den entsprechenden Threads die ich vorher gesucht und gefunden habe eine neue Antwort gegeben wurde.

Die Spider soll mir soll mir helfen in möglichst vielen Foren gleichzeitig aktiv zu sein und Diskussionen zu betreiben, ohne dass ich dafür 4 Stunden am PC verbringen muss.

Ich stelle mir das so vor: ich starte die Spider oder das Programm und sage ihr einen Haufen Foren-URLs, diese dursucht sie für mich nach Threads in denen z.B. "Fahrrad" genannt wurde. Dann schaue ich mir den Thread an und gucke, ob ich dazu Antworten kann oder möchte...
Wenn ich die Spider dann ausmache und am nächsten Tag wieder an, clicke ich "check for anwers" oder was auch immer und dann sagt sie mir nachdem sie gesucht hat "you got anwers in 8 forums, link1:... [...]"

Das wäre optimal, aber alles andere was es gibt, was mir Aktivitäten in dieser Richtung erleichtert wäre mir auch schon eine Hilfe.

[twiggie]

Jetzterle

Gar nicht mal so schlecht diese Idee. Quasi eine Art Sammel-Benachrichtigungsmail plus Premium-Features.

Jetzt brauchen wir nur noch den Geek der das strickt und daraus einen Dienst macht.

Du kannst die reguläre Datenerhebung mit nahezu jedem x-beliebigen Spider durchführen. Das Script, das die Daten dann anschließend auswertet und dir sinnvoll aufbereitet zu Verfügung stellt und sogar optional noch weitere Aktionen des Spiders anstößt, wird wohl exakt für dich geschrieben werden müssen. Zumindest wüßte ich nicht, daß es sowas fertig gibt.
Twigg

[Exxa]

Naja ich bin jetzt kein Programmiererass, aber die Spider müsste sich doch nur den Link merken und die Zahl der Antworten, die wohl auch irgendwo im Quellcode angegeben sein müsste. Wenn diese Zahl seit dem letzten Check der URL gestiegen ist, benachritigt sie dich mit einem simplen Satz.
Dass stelle ich mir jetzt nicht soo schwer zu programmieren vor und ich könnte mir durchaus vorstellen, dass es bei den Millionen von Foren im inet, wohl auch ein Tool geben wird, mit dem man mehrere gleichzeitig beobachten kann.

Vielleicht hab ich ja Glück und jemand hier kennt sowas ^.^

[Exxa]

*noch schnell Patent auf die Idee erheb*

[t-rex]

Hi,

Ich glaub nicht, dass man dazu extra was programmieren muss

Aber erst einmal, was gegen einen Spider/Crawler/Bot spricht.
- Einige Boards bleiben unberücksichtigt, weil der Bot sich in "nicht öffentliche" Foren einloggen kann. Man kann das natürlich programmieren, aber der Aufwand wird dadurch vermutlich unverhältnismässig hoch.
- Es gibt verschiedene Forensoftware! Darauf müsste der Bot schon von vorneherein eingestellt sein. Man könnte natürlich eine Erkennung einbauen, Die wird aber nicht zuverlässig funktionieren, da man den Bot auf alle möglichen Templates und Mods abstimmen müsste.
- Durch die Vielzahl der möglichen Templates und Mods, wird es nahezu unmöglich einen gemeinsamen Nenner zu finden, woran man die versch. Merkmale, wie z.B. Anzahl der Posts oder Datum des letzten Posts, erkennen kann.
- Ein anderer Weg um zumindest die Forensoftware festzulegen und dem Bot mitzuteilen wäre natürlich das simple auswählen aus einer Liste. Dazu muss der Anwender des Bots aber selbst die Forensoftware hinter der jeweiligen Url zuverlässig erkennen. Und das Problem mit den Templates und Mods bleibt nach wie vor.
- Es sei denn der Anwender kann die relevanten Stellen im HTML Code feststellen und ein entsprechendes Regelwerk festlegen. aber was ist, wenn das eine oder andere Board optimiert/verändert wird. Dann trifft auf einmal eine Regel, die vorher funktioniert hat, auf einmal nicht mehr zu!?
- Könnte der Anwender Forensoftware zuverlässig erkennen, und/oder könnte er solch ein Regelwerk von Hand erstellen, könnte er auch solch einen Bot programmieren oder bräuchte ihn gar nicht weil er dann auch die Features der Foren kennen würde, mit denen er sich einfach die jeweiligen Informationen zuschicken lassen kann. Denn entscheiden, auf was er jetzt antworten möchte oder nicht, muss der Anwender immer noch selbst.
- Und zu guter Letzt. Es ist ein Bot und gerade Foren - sowieso die interessanten mit Traffic und Userstamm - sind gepflegt und haben auch Sicherheitsmechanismen eingebaut, damit eben die Bots draussen bleiben.

Die Grundidee ist natürlich nicht schlecht. Aber wie schon angedeutet, kann man das auch sehr effektiv von Hand erledigen.

- Es gibt Foren die liefern RSS Fedds zu den neusten Threads aus. (z.B. das Abakus)
- Es gibt Foren, bei denen kann man neue Posts abonnieren. Auch Posts, an denen man gar nicht aktiv teilnimmt. Bei der Software vbulletin ist das Standard. (z.B. webhostlist.de)
- Und dann noch die schon erwähnte Möglichkeit, sich Google Alerts einzurichten. (Alert bei site:domain.tld Keyword)

Diese Möglichkeiten - RSS und Email, kann man mit z.B. Thunderbird nutzen. Und wenn es eine überschaubare Menge an Informationen ist, kann man sie direkt studieren, oder man kann innerhalb der Feeds bzw. Emails suchen. Und auch das kann man automatisieren, in dem man die Suchkriterien im Thunderbird als virtuelle Ordner speichert oder gleich als Regel einrichtet.

sonnige Grüsse
HaPe

[Ice Man]

klingt für mich wie nach "Abmahns neustes Spielzeug"

Wie finde ich alle Foren, wo negativ über Produkt XYZ gesprochen wurde.
So kann ich schnell viel Geld verdienen....

[Exxa]

Hm t-rex...
Deine Argumentation klingt sehr überzeugend, auch wenn du an einigen stellen gegen Features agumentiert hast, die mein wunsch-Bot eigentlich gar nicht bräuchte...
Du hast danach eine Vielzahl von Möglichkeiten aufgezeigt, wie man das anderweitig regeln kann. Allerdings klingt das für mich so als wäre es im Endeffekt mehr Arbeit, als wenn ich alle meine Foren per Hnd durch gehe und schaue obs was neues gibt, bzw. regelmäßig die Foren nach meinem Stichwort durchsuche.

Wenn das Ganze aber nicht soviel Arbeits ist, wie es sich anhört, dann wüsste ich gerne, wo ich am besten anfange...

Danke im Voraus;

mfG

[t-rex]

Hi,

zunächst, entstehen die "zusätzlichen" Features, nach denen Du nicht gefragt hast, weil der Bot ja rund laufen soll(te). Ohne diese zusätzlichen Features ist der Bot nicht anwendbar, und wird mehr Fehler/Arbeit verursachen, als Erleichterung bringen.

Wo du am besten anfängst!?

Wie Du siehst, habe ich, obwohl ich an diesen Beitrag schon gar nicht mehr gedacht habe, eine Mitteilung von Abakus bekommen - wenige Minuten, nachdem Du Deine Antwort gepostet hast. Und das ist schon ein Ansatz

Hier mal in kurzen Schritten, wie ich das machen würde und teilweise auch mache, um bei den mir wichtigen Foren auf dem laufenden zu sein.

Zuerst einmal gehst du alle die Dir bekannten Foren durch, und schaust, ob Sie ein Feature haben, welches du für Deine Zwecke gebrauchen kannst.

Hat das Forum einen RSS/RDF/XML Feed? <- das wäre wohl die beste Wahl
Hat das Forum eine "Alarmfunktion" für neue Threads?
Hat das Forum eine "Alarmfunktion" für neue Beiträge?
Hat das Forum eine "Alarmfunktion" für neue Antworten? <- das ist interessant, wenn Du schon aktiv an einem Thread teilnimmst.
Wenn das Forum keinen Feed und keine Alarmfunktion hat dann brauchst Du andere Mittel, wie z.B. den Google Alert.

Alle Feeds, die Du finden kannst, richtest Du in Deinen Mailclient ein. Thunderbird ist da echt gut. Ab jetzt hast du eine Zusammenfassung, was in diesen Foren gepostet wurde.

Bei allen Foren, mit Alarmfunktion, richtest Du dir einen Benutzeraccount ein. Dann lässt Du dich über neue Beiträge benachrichtigen. Hier bekommst du Emails, in denen die neuen Threads aufgelistet sind.

Für alle Foren, bei denen Du mit der Übersicht nicht zu freiden bist, richtest Du dir einen Google Alert ein.

Nun hast Du für ALLE Foren 3 Kanäle, auf denen Du die Informationen rein bekommst und über neue Beiträge mehr oder weniger umfangreich informiert wirst.

Das ganze kannst Du dann noch verfeinern, indem Du innerhalb von Deinem Mailclient Suchen definierst und diese als virtuelle Ordner abspeicherst. In diesen virtuellen Ordnern tauchen dann nur die Mails oder Feeds auf, die genau dem entsprechen, nach was du suchst.

Bei einem Bot, müsstest du ebenfalls alle Foren eintragen. also ist das einpflegen in Deinen Mailclient keine Mehrarbeit.

Ein Bot ist sehr fehleranfällig, wenn an der Forensoftware was geändert wird. Das entfällt beim Mailclient.

Ein Bot wird nicht sehr zuverlässig arbeiten, bei der Erkennung von neuen Beiträgen. Auch Das entfällt beim Mailclienten. Denn die Forensoftware weiss am besten, wenn was neu ist, und nur dann wird der Feed aktualisiert oder eine Mail verschickt.

usw. usf.

sonnige Grüsse
HaPe

[Exxa]

Ah gut, es ist aber dennoch glaube ich ein riesiger Aufwand, dass alles erstmal richtig ein zu richten, zumal ich von RSS Feeds (noch) gar keine ahnung habe.

Auf jedenfall hast du mir in der Suche nach einem solchen Bot sehr geholfen, da deine Ausführungen ziehmlich deutlich machen, dass ich mir die Suche sparen kann.

Wenn du noch Zeit hättest ein bisschen mehr ins Detail zu gehen z.B. was RSS Feed genau ist und was ich damit exakt bewirke und wie genau ich das mache, wäre das wirklich nett, dann kann ich weiter sehen in wiefern sich das lohnt.

Du scheinst solche antworten ja eh lässig auf dem Ärmel zu schütteln =D

[t-rex]

Hi,

nun mehr ins Detail kann ich gar nicht gehen

Was du nun brauchst, ist Google und ein paar Stunden Zeit, um Dich mit der Materie vertraut zu machen. Und besser als Google, das Internet oder Wikipedia kann ich es Dir sicherlich nicht erklären.

Und vor allem, wenn Du dich mit der Materie beschäftigst, werden Dir sicherlich noch tausend andere Sachen auffallen, an die du im Leben nicht gedacht hast und die ich Dir nur mühsam über tagelange Seminare aber doch nicht komplett vermitteln könnte.

Lediglich noch ein Beispiel:
Hier im Abakus ist ganz oben im Topmenü ein Punkt "RDF/RSS Feeds" den kannst ruhig anklicken Da gibt es dann auch ein paar weitere Erklärungen.

Und wenn Du die eigentlichen Feeds auf dieser Seite lokalisiert hast, kannst Du die Urls mal in Deinen Mailclienten eintragen. Alles was dann passiert ist schon selbsterklärend.

Das wichtigste aber ist, dass dir die eigentliche Arbeit, sowohl für das lernen als auch das einrichten Deiner Arbeitsumgebung, niemand abnehmen kann. Da musst Du selber durch

Freut mich geholfen zu haben

sonnige Grüsse
HaPe