Seite 1 von 1

Liste mit URLs (TLD etc)

Verfasst: 30.10.2007, 21:10
von 3DCG
Hallo,

für eine Studie eine Liste von URLs (crawler) - kann mir jemand gute Quellen empfehlen?


DANKE



.

Verfasst:
von

Verfasst: 30.10.2007, 21:25
von saudepp
:lol:

guggstu: www.google.de

voll die liste mit URRRRL Mann

Verfasst: 30.10.2007, 22:02
von xxlfeuerwalze

Verfasst:
von

Verfasst: 01.11.2007, 15:30
von 3DCG
Ich wollte nicht suchen sondern wollte Listen mit URLs

DANKE


.

Verfasst: 01.11.2007, 15:51
von xxlfeuerwalze
Wie viele sollen es sein?

Verfasst: 05.11.2007, 22:41
von 3DCG
xxlfeuerwalze hat geschrieben:Wie viele sollen es sein?
was hast Du bzw. wie viele?

Alle .com, .net und .org bzw. .edu würde für den Anfang langen :D Die .de würde ich aber auch nehmen :D :D


Per Download?

DANKE


.

Verfasst: 05.11.2007, 23:16
von swiat
Hier für .de

https://www.google.de/search?hl=de&safe ... uche&meta=

:D

Verfasst: 06.11.2007, 00:08
von xxlfeuerwalze
Also, Du meinst eine Excel-Tabelle mit allen URL´s ? Und was soll das bringen?

Verfasst: 06.11.2007, 00:36
von Ehemalige Nutzer Z
jungs es geht um die crawler...
3DCG mach einfach mal eine richtige anfrage draus und sei nicht so schreibfaul.. :-?

Verfasst: 25.12.2007, 22:53
von 3DCG
swiat hat geschrieben:Hier für .de

https://www.google.de/search?hl=de&safe ... uche&meta=

:D
:splat: Google liefert nur max 1000 Resultate zurück auch wenn Millionen angegeben werden. Leider gibt es die alte Google API nicht mehr :cry:

zuendschnur hat geschrieben: 3DCG mach einfach mal eine richtige anfrage draus und sei nicht so schreibfaul..
Wie meinst Du das? Testen möchte ich einen eigenen Spider / Crawler und dafür brauche ich eine Menge URLs zum testen.


.

Verfasst: 25.12.2007, 23:33
von Zerstreuter
Das wäre vielleicht ein Anfang: https://rdf.dmoz.org/rdf/content.rdf.u8.gz