Googlebot - Verfolgungswahn - Paranoia - ahhhrg!

Beitrag von **moep123** » 16.08.2004, 21:38

[paranoia]also irgendwie fühl ich mich verfolgt[/paranoia]

hab mich heute abend hingesetzt - neuen order + unterseite gebastelt.

dann die vorabversion (da noch kein traffic auf der seite kann ich "online programmieren" *g*) hochgeladen. das war um 20:45 uhr - 15 minuten später war der googlebot da und hat die neue seite gespidert (und zwar ausschliesslich diese neue seite - alles andere hat ihn gar nicht interessiert).

meine IP

- - [16/Aug/2004:20:45:30 +0200] "GET /neuerordner/neueseite.html HTTP/1.1" 200 10045 "https://www.domain.de/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Alexa Toolbar)" "www.domain.de"
212.204.254.46 - - [16/Aug/2004:21:03:07 +0200] "GET /neuerordner/neueseite.html HTTP/1.1" 200 9498 "-" "Googlebot/2.1 (+https://www.googlebot.com/bot.html)" "www.domain.de"

ich hab dann noch einige sachen geändert und ständig was hochgeladen (bis ca 22:00 uhr) und in der zeit kam er noch einige male wieder:

212.204.254.46 - - [16/Aug/2004:21:16:36 +0200]
212.204.254.46 - - [16/Aug/2004:21:21:39 +0200]
212.204.254.46 - - [16/Aug/2004:21:41:00 +0200]
212.204.254.46 - - [16/Aug/2004:21:43:43 +0200]

fand ich schon etwas irritierend zumal um diese uhrzeit noch nie ein bot bei mir war (neue page) - aber nun gut kann ja auch zufall sein dacht ich mir

ne stunde später hab ich mich an meine 2te (auch neu) page rangemacht und die index verändert ( erster upload 22:54 uhr) und siehe da keine 5 minuten später war auch hier der bot da:

meine IP

- - [16/Aug/2004:22:54:51 +0200]
212.204.254.46 - - [16/Aug/2004:22:59:15 +0200] "GET / HTTP/1.1" 200 7471 www.andere-domain.de "-" "Googlebot/2.1 (+https://www.googlebot.com/bot.html)" "-"
212.204.254.46 - - [16/Aug/2004:23:03:00 +0200] "GET / HTTP/1.1" 200 7471 www.andere-domain.de "-" "Googlebot/2.1 (+https://www.googlebot.com/bot.html)" "-"

und diese page hat nur die index und ein impressum - auch hier kam der bot bisher immer 1 mal am tag morgends vorbei.

also ich weiss jetzt nicht so recht was ich davon halten soll. 2 mal zufall? sobald ich was veränder kommt das ding.
nicht das ich mich beschweren will aber hab dafür irgendwie keine sinnvolle erklärung gefunden. oder überseh ich da etwas!?

hat dazu jemand eventuell ne theorie?

mfg
moep123

von **Anzeige von ABAKUS** »

Beitrag von **phereia** » 16.08.2004, 21:50

Ich surfe - dank Firefox - auch desöfteren mit Googlebot-Kennung. Das machen mit Sicherheit auch noch andere. Im Zweifelsfall solltest Du mal die IP überprüfen.

Beitrag von **moep123** » 16.08.2004, 21:55

phereia hat geschrieben:Googlebot-Kennung

öhm.. noch nie davon gehört

kannst du einen unwissenden geist aufklären was es damit auf sich hat?

mfg
moep123

Beitrag von **/bin/false** » 16.08.2004, 22:09

moep123 hat geschrieben:kannst du einen unwissenden geist aufklären was es damit auf sich hat?

https://212.204.254.46
ich glaub das ist nicht google

Beitrag von **phereia** » 16.08.2004, 22:31

moep123 hat geschrieben:
Googlebot-Kennung
kannst du einen unwissenden geist aufklären was es damit auf sich hat

Wenn ich das auswähle, liefert sendet mein Browser "Googlebot/2.1 (+https://www.googlebot.com/bot.html)" als User-Agent Kennung, d.h. verewigt sich so in den Logfiles der besuchten Seiten.

Beitrag von HW » 17.08.2004, 05:57

@phereia

Wo stellt man den bei dem Firefox die Browserkennung um?

Beitrag von **bull** » 17.08.2004, 06:05

mit der User-agent switcher - Erweiterung.

Es bleibt die Frage, was es mit
https://212.204.254.46
auf sich hat.

Beitrag von **Genom** » 17.08.2004, 08:01

Hey lustig, dann habe ich wohl gerade eine gecloakte Seite gefunden. oder?

https://www.no404.de/anonym-proxy-surfe ... plorer.htm

Ciao Genom

Beitrag von **Webby** » 17.08.2004, 08:04

Googlebot macht gerade eine deepcrawl (41 gäste um 10 uhr)

Beitrag von **bull** » 17.08.2004, 08:08

Deepcraw

Bestätige das. 259 von 620 hat er gezogen heute.

Beitrag von **Nikochan** » 17.08.2004, 12:35

Schon wieder ein Deep Crawl? Der letzte Deep Crawl war bei mir am 10.08.2004.

Googlebot Zugriffe pro Tag der letzten 30 Tage
EDIT: Bild gelöscht. Keine Lust auf DB-Abfragen...

Verwundert mich etwas, dass nun schon wieder einer stattfindet.

Gruss,
Nikochan

Beitrag von **moep123** » 17.08.2004, 13:28

bull hat geschrieben: Es bleibt die Frage, was es mit
https://212.204.254.46
auf sich hat.

in der tat... seeeeehr komisch wie ich finde

vor allem was hab ich mit nem holländischen provider am hut?!

oder was auch immer das für ne seite ist.. mein nederlanditsch ist nicht so gut

mfg
moep123

Beitrag von **bull** » 17.08.2004, 14:16

Hast Du irgendwelche Adware, Spyware etc.? Täte ich mal schleunigst prüfen.
Außer der Alexa Toolbar. Das ist irgendwie höchst seltsam. Projekt schon verlinkt?
Das http*//<ip> bringt nur die Startseite des Anbieters selbst, also WideXS. Ich bezweifle stark, daß Google irgendwas mit denen zu tun hat.
Würde das gesamte 212.204.254.-Netz entweder sperren oder aber cloaken, und denen eine eigens eingerichtete e-mail-Adresse präsentieren, um auf Spam zu testen.

Beitrag von **moep123** » 17.08.2004, 18:16

bull hat geschrieben:Hast Du irgendwelche Adware, Spyware etc.?

japp. hatte ich

..hoff mal ich hab alles gefunden

bull hat geschrieben:Projekt schon verlinkt?.

öhm.. "ja"? also nur von so 08/15 webkatalogen. aber dürft mir gerne n (temporären?) link auf ne unterseite spendieren damit auch mal ein realer bot kommt und nich immer nur die index mitnimmt

bull hat geschrieben: Das http*//<ip> bringt nur die Startseite des Anbieters selbst, also WideXS. Ich bezweifle stark, daß Google irgendwas mit denen zu tun hat.

japp. das bezweifel ich auch stark

bull hat geschrieben: Würde das gesamte 212.204.254.-Netz entweder sperren oder aber cloaken,.

ich denke ich wert erst mal abwarten ob das phänomen nochmals auftritt und falls ja etwas unternehmen. danke für deinen tipp

bull hat geschrieben:und denen eine eigens eingerichtete e-mail-Adresse präsentieren, um auf Spam zu testen.

bis jetzt sind alle email-adressen "offen" (mailto) auf der page. hab bis jetzt noch kein einzigen spm bekommen (hab die pop-box mit den offenen mail-adressen aber vorsorglich mal "spam" benannt *g*)

mfg
moep123