Frage zum Googlebot

Beitrag von **ralfmann** » 01.12.2005, 16:08

Hallo Leute,

kann mir jemand folgende Einträge in meinen Logs erklären:

69.64.49.243 - - [01/Dec/2005:15:45:26 +0100] "GET / HTTP/1.1" 200 46859 "-" "Googlebot/2.1 (+https://www.google.com/bot.html)" "www.meinedom.de"

Ich verstehe vor allem nicht, was er mit GET /HTTP/1.1 will bzw. macht!!

Vielen Dank schon mal für eure Antworten!!

von **Anzeige von ABAKUS** »

Beitrag von **Chris2005** » 01.12.2005, 16:11

gefakter Googlebot ... Google sendet ausserdem keine Referrer

https://whois.sc/69.64.49.243

Beitrag von **ralfmann** » 01.12.2005, 16:50

Danke @ Chris2005

und wie erkenne ich den Googlebot denn?????

Habe bisher selten meine blanken Logfiles angesehen und weiss deshalb auch nicht was da drin stehen sollte/müßte um ihn zu identifizieren!!

Beitrag von **ralfmann** » 01.12.2005, 16:54

Noch eine Frage.

Wie kann man diese Fakes blockieren???

Irgendwie tummelt der sich schon den ganzen Tag bei mir rum!!

Beitrag von **Chris2005** » 01.12.2005, 16:56

Der Googlebot kommt in der Regel mit 66.249.xxx.xxx IPs. und sendet keine Referrer...

Beitrag von **Chris2005** » 01.12.2005, 16:59

Sperren kannst Du die in der .htaccess mit

Code: Alles auswählen

deny from 69.64.49.243

Damit wird diese IP Adress gesperrt... Guck mal hier im Forum nach .htaccess ... Da gibt es viel Literatur zu ...

Beitrag von **ralfmann** » 01.12.2005, 17:18

Danke dir!!

Werde gleich mal suchen!!

Beitrag von **ralfmann** » 02.12.2005, 10:12

Hi nochmal,

habe auch folgenden Eintrag gerade noch mal gesehen bzw. sehe ich den öfter!!

66.249.66.230 - - [01/Dec/2005:20:16:27 +0100] "GET / HTTP/1.1" 200 46859 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)" "www.meinedom.de"

was hat das GET / HTTP/1.1 zu bedeuten?????

Beitrag von **axelm** » 02.12.2005, 10:18

? euh
gib mir die Seite mit dem Protokoll http 1.1?

Beitrag von **ralfmann** » 02.12.2005, 10:23

Sorry, verstehe ich immer noch nicht

Kann oder muß ich da was beeinflussen ?????

Mir ist aufgefallen, das der Bot immer mit dieser Meldung reinkommt aber dann irgendwie nichts weiter passiert!! Ist das normal?? Muß ich noch irgendwas in den Header schreiben ???

Beitrag von **Chris2005** » 02.12.2005, 15:53

ralfmann hat geschrieben:Hi nochmal,

habe auch folgenden Eintrag gerade noch mal gesehen bzw. sehe ich den öfter!!

66.249.66.230 - - [01/Dec/2005:20:16:27 +0100] "GET / HTTP/1.1" 200 46859 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)" "www.meinedom.de"

was hat das GET / HTTP/1.1 zu bedeuten?????

Deiner ist ein "echter" Googlbot => https://whois.sc/66.249.66.230

Mach Dir ueber das http/1.1 keine Gedanken... Alles im gruenen Bereich...

Beitrag von **ralfmann** » 02.12.2005, 17:48

Hi,

mich wundert halt nur, das der Bot tagelang schon meine Seiten spidert aber er einfach immer noch kein Cache zu sehen ist!!

Beitrag von **Chris2005** » 02.12.2005, 19:19

Der Mozillabot traegt nicht zum Index bei. Der hat andere Aufgaben. Nichts genaues weiss man nicht ... Housekeeping etc. Scheint wohl auch zur Blogsearch Engine zu gehoeren...

Beitrag von **ralfmann** » 03.12.2005, 13:41

Dann habe ich doch gleich die nächste dumme Frage

??

Welcher Bot trägt denn dann zum Index bei ??????

Beitrag von **bull** » 03.12.2005, 13:48

@ralfmann
Ohne Dir jetzt nahe treten zu wollen, aber so gut wie alle Deine Fragen sind schon früher ausführlich behandelt worden, z.b. hier usw. (Suchfunktion).