Beitrag
von depp ich » 02.06.2006, 12:38
So ziemlich jeder Spider-Simulator hat seine Macken. Das liegt schlichtweg daran, dass bei Google hunderte Leute seit Jahren basteln, die meisten Suchmaschinen-Tools - noch dazu gratis - von einem Menschen, so nebenbei gemacht werden.
Und es gibt jede Menge Fallstricke...
Das ist auch der Grund, warum die meisten solchen Tools nicht wirklich die Links verfolgen, sondern immer nur eine URL laden.
Auch mein Tool macht Ärger mit den Umlauten, weil Shockwave hier einen Bug hat und ich keine Lust, den Umgang mit Arrays zu Fuß zu programmieren.