ich muss Euch das mal erzählen, ich bin total perplex.
Die letzten 3 Tage hat der Bot ganz fleissig Seiten gespidert.
Interessant finde ich aber, das er den einen Tag unsere rewrite Urls erkennt und ihnen folgt, den anderen Tag aber nicht. er folgt zwar vielen Links aber den "echten" PHP Seiten mit String und etlichen vars dran.
Gut, das ist alles ganz toll, wundert mich zwar - aber was solls, hauptsache er erkennt die Links. Aaber was mich echt umhaut ist, das ich in robotstats sehen kann, das er unsere Suche gespidert hat und das irre ist, er hat eine Suche mit folgenden Begriffen ausgelöst:
Balearen
Balears
Baptisms
Bautizos
Beistand
Belief
Biblia
Biowetter
Church
Churches
Claustros
Communion
Emisoras
Evangelic
Funerals
....
Und das hört mit Wetter und Weddings wieder auf.
Mehrere hundert Begriffe hat er gesucht.
Und viele mit religiösen Bezug? Das verstehe ich überhaupt nicht.
Damit bekommt er bei uns gar kein Ergebnis zurück.
Und unsere Seite ist 3-sprachig, er hat auch jeden begriff in allen Sprachen abgefragt.
So was habe ich noch nie gesehen. Ich dachte immer, der Bot folgt nur Links, das er aber auch Abfragen auslösen kann, wusste ich nicht
Was sagt Ihr dazu? Habt Ihr sowas schonmal erlebt? Ist das normal?
Ich bin mal gespannt, ob ich zu diesen Begriffen mal was in Google finden kann, wäre ja echt der Hammer, wenn unsere Seite unter solchen Keywörtern gefunden werden kann.
