Wie funktionieren Spider fürs Webmonitoring

[canonme]

Hallo zusammen,

ich schreibe derzeit an meiner Diplomarbeit zum Thema Webmonitoring. Dabei geht es unter anderem auch um Spider die Quellen zu bestimmten Stichworten aus dem Netz fischen. Dabei sollten sowohl Webseiten wie auch Foren und Newsgroups durchsucht werden. Kann mir jemand Infos zu diesem Thema geben? Mich interessiert vor allem die grobe Funktionsweise und Praxisbeispiele wie zum Beispiel gridpatrol...

[Anonymous]

Hmm...

wende dich doch einfach mal an gridpatrol direkt, die sollten dir über ihre Produkte am besten Infos geben können.

Geht es bei deiner Arbeit auch um Systeme die bestimmte Funktionen auf einer Webseite regelmäßig überprüfen, um bei Störungen schnell eingreifen zu können, oder solche Störungen einfach nur protokolieren?

[canonme]

Ich habe schon versucht gridpatrol zu kontaktieren. Auch andere Unternehmen aus dieser Richtung habe ich angesprochen. Das Feedback ist jedoch leider sehr dürftig (Wahrscheinlich weil ich kein potenzieller Kunde bin).

Das Webmonitoring welches in meiner Arbeit behandelt wird soll Meinungsbildungen über Produkte oder Unternehmen im Internet überwachen. Es soll also eine Art Frühwarnsystem darstellen, welches im Netz Informationen zu bestimmten Stichworten sammelt.

Ich habe bisher nur dürftige Infos zu Spidern gefunden. Ich möchte diese aber näher erläutern und die Ansätze auf meine Webmonitoring Bedürfnisse erweitern. Dabei sollte die Erläuterung nicht zu technisch werden. Ich bin kein Informatiker!

[Anonymous]

Ein Spider holt sich den HTML Text einer Webseite, und wertet das dann aus...

dieser kann dann nach Schlüsselbegriffen suchen, verschiedene HTML-Tags erkennen und so dann auch weitere Links finden...

die Leistungsfähigkeit liegt dann in der Auswertung der gefundenen Schlüsselbegriffen...

google mal nach "content grabbing" bei google, dort findest du Erklärungen wie das funktioniert, also das holen und auswerten von webseiten per php oder sonstigen Scriptsprachen... und ob man jetzt bestimmte Inhalte aus einer Webseite holt, oder nach Schlüsselwörtern sucht... naja, das prinzip ist das gleiche...

[canonme]

Vielen Dank für den Tipp. Aber ich denke Content Grabbing geht doch nicht ganz in meine Richtung. Ich möchte je nicht ein wenig fremden Content auf einer Webseite einbinden. Wichtiger ist mir, möglichst große Teile des Internets nach einem Untersuchungsgegenstand zu durchsuchen und die Ergebnisse dann zu analysieren.

[Anonymous]

ja... und wo ist da der Unterschied?

in beiden Fällen musst du erstmal den HTML text der Webseite holen und entsprechend auswerten...

Du musst dir dann noch die Links aus den Seiten holen und weitere Seiten spidern... und Links aus einer Webseite holen gehört auch zum content grabbing...

Die Details der Auswertung wird bei den Firmen wohl unters Firmengeheimnis fallen... so mancher hier würde sicher gerne wissen, wie google die Seiten im detail auswertet....

[canonme]

Kann mir denn jemand interessante Links zu dem Thema Spider geben?
Ich suche vor allem auch Grafiken die eine Funktionsweise von Spidern verdeutlichen.

Vielen Dank