[Script suche] php url spider crawler bot robot

[krombes]

Hallo

Ich bin auf der suche nach einem kleinen PHP Script mit dem man automatisch nach Domains suchen kann und diese dann in eine Datenbank eingetragen werden.

Ich habe Sphider und Sphider-plus schon ausprobiert. Doch sind diese Scripte viel zu umfangreich, denn dieses Script speichert noch die Meta´s und wertet die Keywords aus.

Ich brauche eigentlich nur die Domains für eine Domainliste.

[Synonym]

Ich brauche eigentlich nur die Domains für eine Domainliste.

Wozu?

[TheRob]

Ähm... PHP Script was ne seite ausliest und deren Links, jeden Link rufst du auf und sammelst deren Links und rufst die wieder auf
x
xx
xxx
xxxx
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
Das expotenziert (?!) sich dann und irgendwann geht dein server in die knie wenn es fasch programmiert ist

warum auch immer du das aber benötigst.

[Sebamueller]

schau dir mal curl an. Damit kann man das ohne Probleme machen....