Jetzt kommen täglich tausende von Robots warum ?

[ramfresser]

Hallo alle zusammen.


Und wieder versteheich Google nicht mehr

Ich habe in meinem Forum die Homesite raus genommen und eine Portalseite eingebaut. Nun das scheint Google zu mögen und hat mich unter ein paar Suchwörtern klettern lassen.

Aber was ich nicht verstehe ist warum kommen seit dem auch ca. 5000 Robots pro Tag und was schauen die sich an, verdammt noch mal ich habe doch gar nicht so viele User die tonnenweise pro Tag posten.

Ich verstehe Google so langsam genauso wenig wie meine Kuh vom Schlittschuhlaufen.


mfg ramfresser

[Steffi]

freu dich doch!!

ist im Prinzip auch kein Wunder, in Foren kann sich der Bot ja auch ständig was neues holen und das tut er.

Sind bei dir auch alte Seiten im Index aufgetaucht? Denn ich frage mich wann er diese "alten-Seiten" mal wieder spidert, dann bekommt er nämlich jetzt einen schönen 301 bei mir.

[axelm]

falls du irgendwas random auf deiner Seite anzeigst (lustiges Bild per zufallsgeneratoren -> wähle eins von 10 aus) dann versucht der Bot evtl. rauszufinden: "ok, da ändert sich bei jedem Reload das Bild -> 5000x zugreifen -> aha also es wird per Zufall eins von diesen 10 Bildern geladen."

So könnte ich mir das vorstellen.

[tritop]

um welchen bot handelt es sich? ist es der 'normale' oder der browserkennungs-bot (Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html))? wenn man letzteren oft auf seiner site hat kann das unglueck nach sich ziehen...
lg tri

[ramfresser]

Natürlich freuen wir uns über Googlebesuche wer nicht, und es sind auch die echten Googlerobots mit der Kennung von Google, aber das wird in der Zukunft ein grösseres Problem werden.

Ich möchte nicht als protzig oder so scheinen, aber mein Forum hat eine sehr gute Zukunftprognose und es wird bestimmt noch was sehr grosses werden, gerade wegen der Thematik und auch deswegen das es da einzigeste Forum seiner Art ist.

Nur wenn ich weiter rechne, wieviele Robots von Google kommen dann in einen Jahr und wieviel in 5 Jahren und was kostet mich das an Traffic, was muss ich heute schon machen und das kannste nicht so zu eskalieren zu lassen usw.

Viele Fragen und viele Sachen die von sowas auch ab hänegen, wie z.B. welchen Server miete ich bald fü das Forum usw.


mfg ramfresser

[mark007q]

... solange Dein Forum nicht etwas suchmaschinenfreundlicher gestaltet wird, kann es nur etwas großes werden, wenn nicht andere Foren zu diesem Thema existieren.

Session ID's sind für keine Suchmaschine optimal und ebenso wenig *php? ...

[ramfresser]

... solange Dein Forum nicht etwas suchmaschinenfreundlicher gestaltet wird, kann es nur etwas großes werden, wenn nicht andere Foren zu diesem Thema existieren.

Session ID's sind für keine Suchmaschine optimal und ebenso wenig *php? ...

????? Was meinst du damit und wie kann ich das abestellen was du da meinst ???


mfg ramfresser

[Steffi]

Würd ich mir jetzt noch gar keine Gedanken machen. In 5 Jahren gibt es auch andere Hosting-Tarife, wird ja immer günstiger, besonders was den Traffic betrifft.

Wir hatten damals übrigens auch was fast einmaliges. Das bleibt aber nicht lange so!

[FEAnoR]

Also wenn du dir Sorgen machst, dass du zu viel Traffic aufkommen hast durch Bots, dann machst du irgendwas falsch... Zahlst du 'nen Euro pro MB Traffic bei deinem Hoster?

[JanG]

Hallo

Ich werf jetzt einfach mal eine Frage in den Raum...

Warum sollter der Besuch von "Googlebot/2.1 (+https://www.google.com/bot.html)" Unglück bringen? Das ist der einzige Bot von Google der sich bei mir unter Webalizer überhaupt zu erkennen gibt. Wenn ich nach den IP's gehe ist natürlich das ganze Spektrum zu erkennen... aber offiziell meldet sich nur dieser eine bei mir.

Falls man das Thema mit wenigen Zeilen erklären kann würde ich mich hier über eine kleine Info sehr freuen. Ist es bedeutend komplizierter braucht sich hier niemand die Finger blutig zu schreiben, aber ein Link wo es erläutert wird wäre sehr nett.

Gruß
Jan

[bull]

https://www.abakus-internet-marketing.d ... 11841.html
https://www.abakus-internet-marketing.d ... 38592.html
https://www.abakus-internet-marketing.d ... 17769.html

[JanG]

Hallo bull

Besten Dank für die Links und damit verbundenen "Spekulationen" *g*

Die meisten Aussagen zu diesem Bot kann ich nicht bestätigen. Der hatte meine Seite schon immer besonders gern und ich bin weder schlechter gelistet, noch sonst irgendwie "abgestraft" worden. Ein vollkommen gleichmäßiges Aufkommen im Monat von etwa 13% das konstant bleibt. Und beim letzten Update von PR5 auf PR6, also alles Humbug.

Da ich vor ein paar Tagen fast alle Adressen von dynamisch auf statisch geändert habe hätte man einen Anstig dieses Bots beobachten müssen, aber nein, konstant bei etwa 13%.

Das nur mal so als kleiner Hinweis aus meiner Erfahrung.

Gruß
Jan

[tritop]

Warum sollter der Besuch von "Googlebot/2.1 (+https://www.google.com/bot.html)" Unglück bringen?

dieser bot ist nicht der 'schlimme' sondern jener andere, der den begriff 'mozilla' in seinem useragent fuehrt. ueber diesen bot gibt es die erfahrung dass sich etwas unguenstig an deiner seite aendern kann wenn er ungewoehnlich viel auf der seite rumguckt (also mehrere k zugriffe am tag). ich persoenlich werde immer ein bischen unruhig wenn er das bei mir macht obwohl meistens natuerlich gar nix passiert. es ist wie immer bei google: mit bestimmtheit sagen kannste garnix.
lg tri

[mark007q]

@ramfresser:

Ich meine damit, dass Google & CO Seiten die über Session ID's aufgerufen werden schlechter indizieren und demzufolge auch in den Suchergebnisseiten nicht optimal präsentieren.

Meist reicht schon ein php? ... denn hier entsteht massiv doppelter content.

Die meisten Seiten sind dann über mehere Wege erreichbar ... das geht eine ganze Weile gut und dann knallt es gewaltig ... so geschehen vor kurzem bei einem Forum für Digi-Cameras. Da hat Google mal eben alle (!!!) Seiten aus dem Index geworfen ... da hieß es dann gute Nacht.

Ich habe den Betreiber des Forums vorher mehrmals darauf hin gewiesen ... aber er machte sich nur lustig ... jetzt ist ihm leider Gottes eher zum heulen zumute.

[ramfresser]

Wie gesagt ich bin froh das ich die Robots bei mir im Borad wohl fühlen, aber es bringt mir nichts wenn die sich so wol fühlen dass das Board für die User langsamer wird und das befürchte ich wenn Google so weiter macht und in Zukunft noch mehr Robots schickt als jetzt schon kommen.

Das mit der SID ist in Arbeit, denn einige Hackcoder haben ihre Hacks nicht angepasst als damals die Forumsoftwarefirma die SID Geschichte unsichtbar gemacht hat.

Die php?.. Dateien sind leider bei dieser Software nicht zu umgehen, aber dafür gibt es für die Robots ein Suchmaschinenfreundliches Archiv was z.B. fast keine Grafikdatei hat usw.

Nur ich möchte mal Google verstehen können aber das ist wohl nicht möglich. Leider.


mfg ramfresser