Ich haenge mich hier mal mit rein, weil meine Frage aehnlicher Natur ist. Die Inhalte meiner Seite sind auf bummelig 1400 Seiten angesiedelt, die zwar groesstenteils dynamisch aus einer DB generiert werden, aber wo genau nachvollziehbar ist, wie viele Seiten es gibt. In den Beitraegen oben ist die A...
Seit dem 17.6. bekomme ich immer wieder Besuch von der IP 68.104.181.197. Das ist mir aufgefallen, weil ich meine Mail-Adresse anhand von https://www.zapyon.de/spam-me-not/index.de.html "verschlüsselt" habe und der Besucher versucht, per GET darauf zuzugreifen: 68.104.181.197 - - [19/Jun/2...
https://www.robotstxt.org/wc/norobots.html This document represents a consensus on 30 June 1994 on the robots mailing list (robots-request@nexor.co.uk) [Note the Robots mailing list has relocated to WebCrawler. See the Robots pages at WebCrawler for details], between the majority of robot authors an...
Allerdings werden Links, die auskommentiert worden sind, durchaus gespidert. Ich müßte allerdings in meinen Logs gucken, um herauszufinden, wer das macht.