Seite 1 von 1

Crawler-Software zum Extrahieren von Links gesucht

Verfasst: 10.03.2009, 16:04
von peterpeter
Moin zusammen,

ich suche ein Tool, das mir Links aus einem Webauftritt per Crawling-Verfahren ausliest und in einer Liste abspeichert (wichtig ist natürlich die Information auf welcher Seite der Link gefunden wurde).

Es gibt zwar jede Menge Online-Tools, die jedoch nur einzelne Dokumente auslesen (und eben nicht den gesamten Auftritt).

Open-Source oder Freeware wären optimal, jedoch darf die Software zur Not auch was kosten.

Viele Grüße
Pit

Verfasst:
von

Verfasst: 10.03.2009, 16:06
von JohnBi
automatisch kenn ich kein Tool aber ich empfehle dir

Xenu Linksleuth - das findet alle externen Links und sagt dir auch auf welcher Seite sich diese befinden .. echt super nützlich und freeware.

JohnBi

Verfasst: 10.03.2009, 16:07
von bennos
Schau mal in die aktuelle CT. da wird in einem artikel der programmierung eine suchmaschine per php beschrieben.

etwas umbauen und die extrahierst alle links.

Verfasst:
von

Verfasst: 10.03.2009, 16:51
von peterpeter
JohnBi hat geschrieben:automatisch kenn ich kein Tool aber ich empfehle dir

Xenu Linksleuth - das findet alle externen Links und sagt dir auch auf welcher Seite sich diese befinden .. echt super nützlich und freeware.

JohnBi
Hallo und vielen Dank. Also ich bin erstaunt wie schnell die Software arbeitet.
Aber sie listet doch nur URLs auf und zeigt nicht an, wo sie sich die Links befinden. Oder muss ich da noch irgendwas einstellen?

Verfasst: 10.03.2009, 16:57
von JohnBi
doch - da kannst du mit rechter Maustaste anzeigen lassen auf welcher Seite die sich befinden ...

rechte Maustaste auf den Eintrag und dann auf

Properties und dann unten steht

Pages linking to this one:

und dann stehen se alle da

Verfasst: 10.03.2009, 17:10
von peterpeter
Vielen Dank, gerade gesehen.

Klasse das Tool !!!

Verfasst: 10.03.2009, 18:44
von rayman2000
Ich hab ne frage die nur annähernd damit zu tun hat. Wollte jetzt aber keinen extra thread aufmachen.

Gibts ein tool was meine Dateien, online oder offline, nach einem bestimmten Code durchsucht (bsp. <a href="link.htm">link</a>" diesen in allen Seiten ändert und die Dateien wieder abspeichert?

Mein Notepad++ kann sowas. Da müssen aber alle Dateinen geöffnet werden.
Das geht auch, machts aber bissle schwieriger.

Verfasst: 10.03.2009, 18:55
von pagan
phpDesigner kann das zum Beispiel. Dort kann man einen ganzen Ordner mit oder ohne Unterordner auswählen in dem die Änderungen vorgenommen werden sollen.

Verfasst: 10.03.2009, 19:29
von JohnBi
ich nutze für solche Sachen Phase5 HTML Editor nennt sich Dateiübergreifendes Suchen und Ersetzen ...

Verfasst: 10.03.2009, 19:53
von catcat
Dreamweaver kann dat auch^^