Google fernhalten
Verfasst: 13.01.2005, 15:29
Mir ist aufgefallen, dass Google verstärkt nach Dateien sucht, die definitiv nicht vorhanden sind und auch niemals existierten. Wie kann man das Problem lösen ? 
66.249.65.78 - - [12/Jan/2005:08:18:55 +0100] "GET /JuP_2004/index.html HTTP/1.1" 404 303 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.78 - - [12/Jan/2005:08:19:38 +0100] "GET /Konferenzen/index.html HTTP/1.1" 404 306 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
Im Gegensatz dazu gibts zu Wap ein Verzeichnis, das aber nicht genutzt wird und jetzt offensichtlich auch interessant wird. Kann mir das nicht erklären zumal ich nichts über nokia habe ? Was hats mit dem Google WAP Proxy 1.0 auf sich ?
64.233.167.4 - - [12/Jan/2005:07:49:38 +0100] "GET / HTTP/1.0" 200 41477 "-" "Nokia3510i/1.0 (04.44) Profile/MIDP-1.0 Configuration/CLDC-1.0 (Google WAP Proxy/1.0)"
66
66.249.65.78 - - [12/Jan/2005:08:18:55 +0100] "GET /JuP_2004/index.html HTTP/1.1" 404 303 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
66.249.65.78 - - [12/Jan/2005:08:19:38 +0100] "GET /Konferenzen/index.html HTTP/1.1" 404 306 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
Im Gegensatz dazu gibts zu Wap ein Verzeichnis, das aber nicht genutzt wird und jetzt offensichtlich auch interessant wird. Kann mir das nicht erklären zumal ich nichts über nokia habe ? Was hats mit dem Google WAP Proxy 1.0 auf sich ?
64.233.167.4 - - [12/Jan/2005:07:49:38 +0100] "GET / HTTP/1.0" 200 41477 "-" "Nokia3510i/1.0 (04.44) Profile/MIDP-1.0 Configuration/CLDC-1.0 (Google WAP Proxy/1.0)"
66
